Audio Toolbox
音声分析、音響測定、オーディオ処理システム
Audio Toolbox™ には、オーディオ処理、音声分析、音響測定用のツールが備わっています。これには、オーディオ信号処理 (イコライゼーションやダイナミックレンジ コントロールなど) のアルゴリズムと音響測定 (インパルス応答の推定、オクターブフィルター、周波数重み付けなど) が含まれます。また、音響特徴の抽出 (MFCC やピッチなど) と、音声信号の変換 (ガンマトーン フィルターバンクやメル周波数スペクトログラムなど) のアルゴリズムもあります。
Audio Toolbox のアプリで、アルゴリズムのライブテスト、インパルス応答測定、音声信号のラベリングを行えます。ASIO、WASAPI、ALSA、CoreAudio のサウンドカードと MIDI デバイスへのストリーミング用インターフェイス、および VST や Audio Units などの標準的なオーディオプラグインの生成とホスティング機能が搭載されています。
Audio Toolbox を使用すれば、機械学習とディープラーニング用に音声データセットのインポート、ラベリング、水増しだけでなく、特徴の抽出と音声信号の変換も行えます。オーディオ処理アルゴリズムのリアルタイムのプロトタイピングでは、レイテンシの小さな信号をストリーミングしつつ、信号のプロットを目で見ながらパラメーターを調整します。また、製作したアルゴリズムからオーディオプラグインを作成し、デジタルオーディオ ワークステーションなどの外部のホスト アプリケーションで実行することにより、アルゴリズムを検証することもできます。プラグインをホストするときは、外部のオーディオプラグインを、MATLAB® の配列を処理する通常のオブジェクトと同じように取り扱えます。サウンドカードを接続することにより、実際の音声信号と音響システムを、いろいろな設定を変えて測定することができます。
詳細を見る:
標準的なオーディオドライバとの接続
USB や Thunderbolt™ のサウンドカードと標準的なオーディオドライバ (ASIO、WASAPI、CoreAudio、ALSA) を使用して、Windows®、Mac®、Linux® のコンピューターでオーディオファイルを読み書きできます。
レイテンシの小さなマルチチャネル オーディオ ストリーミング
MATLAB で生音声をミリ秒単位の小さな往復レイテンシで処理できます。
事前学習済みのディープラーニング モデル
大規模なオーディオ データセットで事前学習済みの、広く利用されているディープ ラーニング モデルを使用して、複雑なオーディオ処理タスクを実行します。Yamnet でオーディオ録音のサウンドイベントを分類し、VGGish でオーディオ埋め込みを抽出します。
音声の特徴抽出
メル周波数ケプストラム係数 (MFCC)、ガンマトーン ケプストラム係数 (GTCC)、ピッチ、調和性、スペクトル記述子などの低レベルの特徴を抽出して解析します。時系列を取り扱うディープラーニング アーキテクチャ (LSTM 層など) で特徴抽出を行います。
時間周波数解析
変形離散コサイン変換 (MDCT)、短時間フーリエ変換 (STFT)、またはもう少し単純なメル周波数スペクトログラムを使用して、信号の時間周波数への変化を表します。ガンマトーン フィルターバンクを使用して取り出された人間の聴覚の周波数帯によって、信号を分解します。2 次元データを取り扱うディープラーニング モデル (CNN 層など) で、時間周波数解析を行います。
オーディオ データセットのラベル付けと注釈付け
Ground Truth のラベルと注釈を、オーディオ録音とデータセットに手動および自動で割り当てます。オーディオ信号の音声領域を検出します。クラウドベースの音声認識サービスを利用して自動的に音声を書き起こします。
大規模なオーディオ データセットの取り込み
audioDatastore
を使用して、大量の録音データにインデックスをつけて読み取ります。オーディオファイルのリストをラベルに従ってランダムに分割します。データの水増し、時間周波数解析、および特徴抽出処理を tall 配列を使用して並列化します。
オーディオおよび音声データセットの拡張と合成
ピッチシフト、タイムストレッチ、およびその他のオーディオ処理効果の組み合わせにより、ランダム化されたデータ拡張パイプラインを設定します。クラウドベースの音声合成サービスを使用して、テキストから合成音声録音を作成します。
オーディオフィルターとイコライザー
パラメトリック イコライザーとグラフィック イコライザー、シェルビング、可変勾配フィルターをモデル化して適用します。デジタル クロスオーバー フィルター、オクターブバンド フィルター、1/N オクターブバンド フィルターを設計してシミュレートします。
ダイナミックレンジ コントロールとエフェクト
ダイナミックレンジを処理するアルゴリズム (コンプレッサー、リミッター、エキスパンダー、ノイズゲートなど) をモデル化して適用します。再帰的パラメトリックモデルで人工的な残響を付加します。
ブロック線図を使用したシステムのシミュレーション
Simulink® のオーディオ処理ブロックライブラリを使用して、システムモデルの設計およびシミュレーションを行います。対話型コントロールと動的に変化するプロットを使用して、パラメーターを調整しシステムの動作を確認できます。
パラメーターをリアルタイムで調整できるユーザー インターフェイス
オーディオ処理アルゴリズムのパラメーターを調整するためのユーザー インターフェイスが自動的に作成されます。オーディオ テストベンチ アプリで個々のアルゴリズムをテストし、自動的に生成されたコントロールを使って、実行中のプログラムのパラメーターを調整できます。
MIDI に接続してパラメーターを制御、メッセージを送受信
MIDI のコントロール サーフェスを使用して MATLAB のアルゴリズムのパラメーターを対話形式で変更します。MIDI のさまざまなメッセージを送受信することにより、外部のハードウェアを制御したり、イベントに応答したりできます。
標準規格に基づいた測定と解析
録音またはライブ音声の音圧レベル (SPL) とラウドネスを測定します。オクターブバンド フィルターと 1/N オクターブバンド フィルターを使用して信号を解析します。生音声を録音したデータに、標準に準拠した A、C、K 重み付けフィルターを適用します。
インパルス応答の測定
最長シーケンス (MLS) と対数掃引正弦波 (ESS) を使用して音響システムのインパルス応答と周波数応答を測定します。インパルス応答測定アプリを使用します。励起信号の生成と応答の推定をプログラミングして、測定を自動化します。
室内のインパルス応答の効率的な畳み込み
周波数領域の重畳加算法または重畳保留法を使用して、インパルス応答の長い信号を効率よく畳み込みますインパルス応答の自動分割を行って、計算の遅延をなくします。
空間音響
さまざまなアンビソニック フォーマットにエンコードおよびデコードします。空間でサンプリングした頭部伝達関数 (HRTF) を補間します。
オーディオプラグインの生成
ユーザー インターフェイスの手動設計なしで、VST プラグイン、AU プラグイン、スタンドアロンの実行可能プラグインを MATLAB コードから直接生成できます。複雑なプラグインをプロトタイピングする場合は、即ビルド可能な JUCE C++ プロジェクトを生成します (MATLAB Coder™が必要)。
外部のオーディオプラグインのホスティング
外部の VST プラグインと AU プラグインを通常の MATLAB オブジェクトとして使用します。プラグインのパラメーターを変更し、MATLAB 配列の処理をプログラミングします。または、プラグインのパラメーターを、ユーザー インターフェイスと MIDI のコントロールに自動的に関連付けます。MATLAB コードから生成したプラグインをホストし、効率よく実行できるようにします。
低価格製品とモバイルデバイス
内蔵または外部のマルチチャネル オーディオ インターフェイスを使用して、Raspberry Pi™ でオーディオ処理システムをプロトタイピングします。Android® または iOS デバイス用のモバイルアプリとなる対話型コントロールパネルを作成します。
ゼロレイテンシ システム
適応型ノイズコントロール、補聴器の検査など、DSP の往復レイテンシを小さくする必要のある場合の、単一サンプルを入出力するオーディオ処理システムのプロトタイピングを行います。Simulink モデルでは直接、Speedgoat オーディオマシンと ST Discovery ボードを自動的にターゲットマシンとして使用します。
YAMNet による音声分類
ディープラーニングを使用して録音を分類 (Deep Learning Toolbox が必要)
VGGish Audio Embeddings
ディープラーニングを使って高水準の音声特徴を抽出 (Deep Learning Toolbox が必要)
一般化ケプストラム係数とデルタ特徴量
MFCC、GTCC、BFCC、および他のタイプのケプストラム係数、聴覚スペクトログラム、およびデルタ特徴量を計算
聞き取れない周波数のためのオクターブ解析
octaveFilter、octaveFilterBank、splMeter で強化されたオクターブフィルター設計を使って信号を解析
音響振動
知覚的な音響変動を測定
特徴抽出のための GPU 高速化
互換性のある GPU カードを使用した高速化 (Parallel Computing Toolbox が必要) に対応した特徴抽出のための関数を追加
これらの機能や対応する関数の詳細については、リリースノートを参照してください。