Audio Toolbox

音声分析、音響測定、オーディオ処理システム

 

Audio Toolbox™ には、オーディオ処理、音声分析、音響測定用のツールが備わっています。これには、オーディオ信号処理 (イコライゼーションやダイナミックレンジ コントロールなど) のアルゴリズムと音響測定 (インパルス応答の推定、オクターブ フィルター、知覚重み付けなど) が含まれます。また、音響・音声特徴の抽出 (MFCC やピッチなど) や、音声信号の変換 (ガンマトーン フィルターバンクやメル周波数スペクトログラムなど) のアルゴリズムもあります。

Audio Toolbox のアプリで、アルゴリズムのライブテスト、インパルス応答測定、音声信号のラベリングを行えます。ASIO、WASAPI、ALSA、CoreAudio のサウンドカードと MIDI デバイスへのストリーミング用インターフェイス、および VST や Audio Units などの標準的なオーディオプラグインの生成とホスティング機能が搭載されています。

Audio Toolbox を使用すれば、機械学習とディープラーニング用に音声データセットのインポート、ラベリング、水増しだけでなく、特徴の抽出と音声信号の変換も行えます。オーディオ処理アルゴリズムのリアルタイムのプロトタイピングでは、レイテンシの小さな信号をストリーミングしつつ、信号のプロットを目で見ながらパラメーターを調整します。また、製作したアルゴリズムからオーディオプラグインを作成し、デジタルオーディオ ワークステーションなどの外部のホスト アプリケーションで実行することにより、アルゴリズムを検証することもできます。プラグインをホストするときは、外部のオーディオプラグインを、MATLAB® の配列を処理する通常のオブジェクトと同じように取り扱えます。サウンドカードを接続することにより、実際の音声信号と音響システムを、いろいろな設定を変えて測定することができます。

詳細を見る:

オーディオのストリーミングとサウンドカードの使用

標準的なラップトップやデスクトップ コンピューターのサウンドカードに接続して、ファイルでも生音声でも、レイテンシの小さなマルチチャネル オーディオをストリーミング可能

標準的なオーディオドライバとの接続

USB や Thunderbolt™ のサウンドカードと標準的なオーディオドライバ (ASIO、WASAPI、CoreAudio、ALSA) を使用して、Windows®、Mac®、Linux® のコンピューターでオーディオファイルを読み書きできます。

マルチチャネル サウンドカード

レイテンシの小さなマルチチャネル オーディオ ストリーミング

MATLAB で生音声をミリ秒単位の小さな往復レイテンシで処理できます。

4 チャネルのマイクアレイからの生音声の入力

機械学習とディープラーニング

音声データセットのラベリング、水増し、作成、および取り込み、特徴抽出、時間周波数解析。Statistics and Machine Learning Toolbox™、Deep Learning Toolbox™、他の機械学習ツールで音声分析手法を開発。

音声の特徴抽出

メル周波数ケプストラム係数 (MFCC)、ガンマトーン ケプストラム係数 (GTCC)、ピッチ、調和性、スペクトル記述子などの低レベルの特徴を抽出して解析します。時系列を取り扱うディープラーニング アーキテクチャ (LSTM 層など) で特徴抽出を行います。

複数単語の音声認識 (上) の推定されたピッチ (下)

時間周波数解析

変形離散コサイン変換 (MDCT)、短時間フーリエ変換 (STFT)、またはもう少し単純なメル周波数スペクトログラムを使用して、信号の時間周波数への変化を表します。ガンマトーン フィルターバンクを使用して取り出された人間の聴覚の周波数帯によって、信号を分解します。2 次元データを取り扱うディープラーニング モデル (CNN 層など) で、時間周波数解析を行います。

音声コマンドのライブ メルスペクトログラム

オーディオ データセットのラベリングと作成

音声を録音し、そのデータセットに Ground Truth ラべリングを行います。クラウドベースの音声認識サービスを利用して自動的に音声を書き起こします。

Audio Labeler アプリの関心領域のラベル

大規模なオーディオ データセットの取り込み

audioDatastore を使用して、大量の録音データにインデックスをつけて読み取ります。オーディオファイルのリストをラベルに従ってランダムに分割します。データの水増し、時間周波数解析、および特徴抽出処理を Tall 配列を使用して並列化します。

Google 音声コマンドデータセットを指定しているデータストア

オーディオ処理アルゴリズムとオーディオエフェクト

標準的な波形の生成、一般的なオーディオエフェクトの適用、およびパラメーターの動的な調整と可視化によるオーディオ処理システムの設計

オーディオフィルターとイコライザー

パラメトリック イコライザーとグラフィック イコライザー、シェルビング、可変勾配フィルターをモデル化して適用します。デジタル クロスオーバー フィルター、オクターブバンド フィルター、1/N オクターブバンド フィルターを設計してシミュレートします。

3 バンドのクロスオーバー フィルターを実際にプロットを見ながら調整

ダイナミックレンジ コントロールとエフェクト

ダイナミックレンジを処理するアルゴリズム (コンプレッサー、リミッター、エキスパンダー、ノイズゲートなど) をモデル化して適用します。再帰的パラメトリックモデルで人工的な残響を付加します。

コンプレッサーによるダイナミックレンジの圧縮を対話形式で調整

ブロック線図を使用したシステムのシミュレーション

Simulink® のオーディオ処理ブロックライブラリを使用して、システムモデルの設計およびシミュレーションを行います。対話型コントロールと動的に変化するプロットを使用して、パラメーターを調整しシステムの動作を確認できます。

Simulink のマルチバンド ダイナミックレンジ コンプレッサーモデルの詳細

リアルタイムのオーディオ処理プロトタイピング

MATLAB でリアルタイムで試聴しながらオーディオ処理アルゴリズムを検証

パラメーターをリアルタイムで調整できるユーザー インターフェイス

オーディオ処理アルゴリズムのパラメーターを調整するためのユーザー インターフェイスが自動的に作成されます。オーディオ テストベンチ アプリで個々のアルゴリズムをテストし、自動的に生成されたコントロールを使って、実行中のプログラムのパラメーターを調整できます。

オーディオ テストベンチを使用して、独自の 3 バンドパラメトリック イコライザーを対話形式で調整

MIDI に接続してパラメーターを制御、メッセージを送受信

MIDI のコントロール サーフェスを使用して MATLAB のアルゴリズムのパラメーターを対話形式で変更します。MIDI のさまざまなメッセージを送受信することにより、外部のハードウェアを制御したり、イベントに応答したりできます。

シンセサイザー用に MATLAB で記述した MIDI メッセージと音声信号の流れ

音響測定と空間音響

音響システムの応答の測定、信号の測定と解析、空間オーディオ処理システムの設計

標準規格に基づいた測定と解析

録音またはライブ音声の音圧レベル (SPL) とラウドネスを測定します。オクターブバンド フィルターと 1/N オクターブバンド フィルターを使用して信号を解析します。生音声を録音したデータに、標準規格に準拠した A、C、K 重み付けフィルターを適用します。

2/3 オクターブバンドの音圧レベルの測定値をグラフィックで表示

インパルス応答の測定

最長シーケンス (MLS) と対数掃引正弦波 (ESS) を使用して音響システムのインパルス応答と周波数応答を測定します。インパルス応答測定アプリを使用します。励起信号の生成と応答の推定をプログラミングして、測定を自動化します。

 インパルス応答測定アプリ

室内のインパルス応答の効率的な畳み込み

周波数領域の重畳加算法または重畳保留法を使用して、インパルス応答の長い信号を効率よく畳み込みます。インパルス応答の自動分割を行って、計算の遅延をなくします。

5 秒以上持続しているインパルス応答 (サンプル数 220,000 個、44,100Hz)

空間音響

さまざまなアンビソニック フォーマットにエンコードおよびデコードします。空間でサンプリングした頭部伝達関数 (HRTF) を補間します。

望ましい音源の位置と HRTF を測定可能な至近距離と角度の例

オーディオプラグインの生成とホスティング

MATLAB で標準オーディオプラグインとして記述したオーディオ処理アルゴリズムをプロトタイピング。外部のオーディオプラグインを通常の MATLAB オブジェクトとして使用。

オーディオプラグインの生成

VST および他のタイプのオーディオプラグインを MATLAB コードから直接生成します。ユーザー インターフェイスを手動で設計する必要はありません。複雑なプラグインをプロトタイピングする場合は、MATLAB Coder™ で、即ビルド可能な JUCE C++ プロジェクトを生成します。

マルチバンド パラメトリック イコライザーの例: MATLAB コードから生成し、REAPER で実行している VST プラグイン

外部のオーディオプラグインのホスティング

外部の VST プラグインと AU プラグインを通常の MATLAB オブジェクトとして使用します。プラグインのパラメーターを変更し、MATLAB 配列の処理をプログラミングします。または、プラグインのパラメーターを、ユーザー インターフェイスと MIDI のコントロールに自動的に関連付けます。MATLAB コードから生成したプラグインをホストし、効率よく実行できるようにします。

オーディオノイズ除去用の外部 VST プラグイン (Accusonus ERA-N) と MATLAB のプログラミング インターフェイスの例

ターゲットの組み込みおよびリアルタイムのオーディオシステム

C コードを生成するアドオン製品を使用してオーディオ処理の設計機能をソフトウェアデバイスに組み込み、マルチチャネル オーディオ インターフェイスに自動接続します。

低価格製品とモバイルデバイス

内蔵または外部のマルチチャネル オーディオ インターフェイスを使用して、Raspberry Pi™ でオーディオ処理システムをプロトタイピングします。Android® または iOS デバイス用のモバイルアプリとなる対話型コントロールパネルを作成します。

Raspberry Pi 3 のボード 

ゼロレイテンシ システム

適応型ノイズコントロール、補聴器の検査など、DSP の往復レイテンシを小さくする必要のある場合の、単一サンプルを入出力するオーディオ処理システムのプロトタイピングを行います。Simulink モデルでは直接、Speedgoat オーディオマシンと ST Discovery ボードを自動的にターゲットマシンとして使用します。

新機能

AU プラグインの生成

macOS 上の MATLAB audioPlugin オブジェクトから Audio Unit (AU) プラグインを生成

オーディオプラグインのためのカスタム UI

生成されたプラグインと MATLAB 上の parameterTuner 向け UI コントロールのレイアウトと外観をカスタマイズ

音声の特徴抽出

一般的な演算をシェアすることで、共有利用可能な音声の特徴抽出を自動化し

オーディオデータの水増し

一般的なもの、およびカスタムのエフェクトを組み合わせて、様々なパターンの音声信号を自動的に生成

ピッチシフトタイムストレッチ

音声信号のピッチと継続時間を個別に変更

オーディオラベラーの自動化

音声検出機能および、サードパーティ製音声/テキスト変換サービスを使用し、オーディオラベラー アプリで複数の音声録音をラベル付け

これらの機能および対応する関数の詳細については、リリースノートを参照してください。

無料評価版を入手する

30 日間の無料評価版はこちら

今すぐダウンロード

あなたは学生ですか?

MATLAB および Simulink 学生向けソフトウェアの入手

詳細を見る