Audio Toolbox

音声、音響、オーディオ処理システムの設計および分析

Audio Toolbox には、オーディオ、音声、音響のための信号処理および分析ツールが用意されています。ツールボックスには、オーディオ信号の処理、音響メトリクスの推定、オーディオデータセットのラベル付けと水増し、オーディオ特徴量の抽出のアルゴリズムが含まれます。

ASIO、CoreAudio、およびその他のサウンドカードとの間で低レイテンシのオーディオをストリーミングすることにより、測定を実行したり、アルゴリズムをリアルタイムでプロトタイピングしたりできます。ツールボックスを使用すると、グラフィカルインターフェイスまたは MIDI イベントを介してアルゴリズムのパラメーターを制御できます。作成したアルゴリズムは、VST または Audio Unit プラグインに変換し、外部ホストのアプリケーションで実行することで検証できます。ツールボックスにはプラグインホスティング機能が備わっているため、外部のオーディオプラグインを使用して MATLAB 配列の処理を行うことができます。

ツールボックスには、転移学習をサポートする事前学習済みの機械学習モデルおよびディープラーニングモデルが含まれています。モデルを音声信号および音響信号に直接適用し、埋め込みの抽出、音声分類、話者検証、音声の書き起こしと合成、音源分離、バックグランドのノイズ削減といった高水準のタスクを実行できます。

ディープラーニングを使用した音声コマンド認識の 2 つのバージョンを横に並べて示している Audio Toolbox のスクリーンショット。

ストリーミングの取得と再生

Windows^®、Mac^®、Linux^® オペレーティングシステムで、標準的なオーディオドライバ (ASIO、WASAPI、CoreAudio、ALSA など) を使用して、サウンドカード (USB や Thunderbolt™ など) との間でオーディオサンプルを読み書きできます。MATLAB でライブオーディオをミリ秒単位の低い往復レイテンシで処理できます。

MATLAB によるリアルタイムオーディオ処理

ドキュメンテーション | 例

2 人の話者の混合音声を記録した波形の積み上げプロットと、そのあとに続くそれぞれの話者の音声を分離したトラックと残差信号。分離されたコンポーネントの合計が元の信号と一致することが示されています。

オーディオ、音声、音響向け AI

最新のディープラーニングモデルおよび機械学習モデルを、オーディオ信号、音声信号、音響信号に適用します。転移学習を使用してモデルを調整するために、オーディオデータの作成、ラベル付け、水増しを行います。特徴量を抽出し、時間-周波数変換を計算します。Statistics and Machine Learning Toolbox と Deep Learning Toolbox を使用して予測モデルを開発します。

事前学習済み AI モデル

ドキュメンテーション | 例

オーディオ処理アルゴリズム

MATLAB および Simulink による動的なパラメーター調整とライブの可視化を使用して、標準的な波形の生成、一般的なオーディオエフェクトの適用、オーディオ処理システムの設計を行います。

パラメトリックイコライザーの設計

ドキュメンテーション | 例

イコライザーとコンプレッサーなどの DSP モジュールや、可視化のスコープとスペクトルアナライザーを備えたスピーカードライブの回路ベースの電気機械モデルを含む、双方向スピーカーの Simulink モデル。

Simulink によるシステムモデリング

Simulink のオーディオ処理ブロックライブラリを使用して、システムモデルの設計を行います。対話型コントロールと動的に変化するプロットを使用して、パラメーターを調整し、システムの動作を可視化できます。DSP、アナログ回路、ディープラーニングモデルをシミュレーションします。

ドキュメンテーション | 例

ライブでのプロトタイピングと可視化

オーディオ処理アルゴリズムの調整可能パラメーター用にユーザーインターフェイスを自動で作成します。オーディオテストベンチアプリでアルゴリズムをテストし、自動生成された対話形式の MIDI コントロールにより実行中のプログラムのパラメーターを調整します。

ドキュメンテーション | 例

推定法およびパラメーターを選択するためのコントロール、測定された時間領域のインパルス応答の詳細、周波数領域の振幅と位相を示すインパルス応答測定器アプリ。

室内音響および空間音響

最長シーケンス (MLS) と指数掃引正弦波 (ESS) を使用して室内のインパルス応答を測定します。SOFA ファイルの読み取りと書き込みを実施し、頭部伝達関数 (HRTF) の分析と内挿を行い、アンビソニックフォーマットの符号化と復号化を行います。分割された周波数領域の手法を使用した効率的な畳み込みを実行します。

ドキュメンテーション | 例

心理音響学およびラウドネス測定

記録またはライブ信号の音圧レベル (SPL) とラウドネスを測定します。オクターブバンドフィルターと 1/N オクターブバンドフィルターを使用して信号を解析します。生音声を録音したデータに、標準に準拠した A、C、K 重み付けフィルターを適用します。ピーク値と真のピーク値を監視します。音響のシャープネス、ラフネス、変動強度を測定します。

ドキュメンテーション | 例

MATLAB で生成し、REAPER で実行しているバイナリプラグインのユーザーインターフェイス。このプラグインには、3 帯域のパラメトリックイコライザーの 9 つの調整可能なパラメーター用の 9 つのスライダーとノブがあり、ユーザーが設計した MATLAB アプリと外観や操作感は同じです。

オーディオプラグインの生成とホスティング

ユーザーインターフェイスを手動で設計することなく、VST プラグイン、AU プラグイン、スタンドアロンの実行可能プラグインを MATLAB コードから直接生成できます。外部の VST プラグインと AU プラグインを、MATLAB 配列を処理するための通常の MATLAB オブジェクトとして使用し、ユーザーインターフェイスまたは MIDI コントロールで、プラグインのパラメーターをプログラムで変更します。

MATLAB を使用した初めてのオーディオプラグイン設計

ドキュメンテーション | 例

追加の組み込みソフトウェアを必要とせずに、MATLAB または Simulink で開発したオーディオシステムモデルのプロトタイピングに使用できる組み込みプラットフォームの一例として示された RaspberryPi ボード。

ターゲットの組み込みおよびリアルタイムオーディオシステム

MATLAB と Simulink のコード生成製品を使用して、ツールボックス関数、オブジェクト、ブロックとして提供された信号処理アルゴリズムや機械学習アルゴリズムから C および C++ ソースコードを生成します。選択した特徴抽出関数から CUDA^® ソースコードを生成します。Raspberry Pi™、Android^® または iOS デバイスのモバイルアプリ、Speedgoat オーディオマシン、ST Discovery ボードでオーディオ処理設計のプロトタイピングを行います。

ドキュメンテーション | 例