人工内耳用音声処理装置

この例では次を使用します。

この例では、聴力を部分的に回復するために重度聴覚障害者の内耳に装着する人工内耳の設計をシミュレーションする方法を示します。人工内耳の開発では信号処理を使用して、音声を電子パルスに変換します。パルスは聴覚障害者の耳の損失部位を通過し、脳に伝達され聴力を部分的に補います。

この例では、DSP System Toolbox™ を使用してモデル化できる人工内耳用音声処理装置を設計する場合のいくつかの手法について説明します。特に、並列シングルレートの 2 次セクション IIR フィルターバンクでなく、カスケードマルチレートの多段 FIR フィルターバンクを使用することの利点を示します。

人間の聴覚

音声を人間の脳が理解できる形に変換する際、内耳、中耳、外耳、有毛細胞、ニューロン、および中枢神経系が関与します。音声が生じると、外耳が音波をキャッチし、中耳の小骨により機械的振動に変換されます。振動は内耳に伝達され、そこで、蝸牛と呼ばれる巻き貝状の構造内の液体を通過します。液体は蝸牛の基底膜に沿って異なる部位を振動させます。基底膜に沿って生じた振動には、音声信号の周波数情報が含まれています。以下は、膜を図式で示したものです (原寸に比例していません)。

蝸牛内での周波数感度

周波数に応じて、大きく振動する基底膜の位置が異なります。低周波数は頂部近くの膜を振動させ、高周波数は基部の膜を刺激します。特定の点における膜の変位振幅は、振動を引き起こした周波数の振幅に比例します。音声が多数の周波数で構成されている場合、基底膜は複数の場所で振動します。このようにして、蝸牛は複雑な音声を周波数要素に分解します。

基底膜の各領域には、膜の変位に比例して屈曲する有毛細胞があります。この屈曲によって、中枢神経系を経由して脳に音声情報を伝達するニューロンを刺激する電気化学反応が生じます。

人工内耳による難聴の軽減

聴覚障害は、多くの場合、関連するニューロンに問題があるのではなく、内耳の有毛細胞の欠落または喪失によって引き起こされます。つまり、有毛細胞以外の方法でニューロンに刺激を与えることができれば、聴覚をある程度回復することができます。この役割を果たすのが人工内耳です。人工内耳は電子的にニューロンに直接刺激を与え、音に関する情報を脳に伝達します。

音波を電気的インパルスに変換する上での問題を解決するのが信号処理です。マルチチャネル型人工内耳には、次の共通する構成要素が存在します。

音声を拾うためのマイクロホン
音波を電気信号に変換するための信号プロセッサ
送信機
電気信号を送信機から受信し、聴神経に刺激を与える電極セット

蝸牛の基底膜は音波を構成周波数に分解します。人工内耳の信号プロセッサもこれと同様に、音声信号をその構成周波数に分解し、各周波数が電極に伝達されます。電極は聴覚障害者の蝸牛に外科的に埋め込まれ、各電極は伝達する周波数に対して蝸牛内の適切な領域を刺激します。高周波数 (高音) 信号を伝達する電極は基部付近に埋め込まれ、低周波数 (低音) 信号を伝達する電極は頂部付近に埋め込まれます。電極付近の神経線維は刺激を受け、脳に情報を中継します。大きい音は高振幅の電気パルスを生成して多くの神経線維を刺激し、小さい音が刺激する神経線維は少なくなります。このようにして、音声を構成する要素の周波数と振幅の両方に関する情報を、人工内耳を通して聴覚障害者の脳に伝達することができます。

例の検証

モデルの最上部のブロック線図は、音を拾うマイクロホン (Input Source ブロック) から生成される電気パルスまでの、人工内耳スピーチプロセッサを表します。周波数のピッチはチャネル 0 (最低周波数を伝達) からチャネル 7 (最高周波数を伝達) まで順に上がります。

元の入力信号を聞くには、モデルの最下部の Original Signal ブロックをダブルクリックします。シミュレートされた人工内耳の出力信号を聞くには、Reconstructed Signal ブロックをダブルクリックします。

モデルにさまざまな変更を加えると、それに応じて、人工内耳スピーチプロセッサの出力も変化します。変更後は、モデルを再実行し変更内容を更新してから、再作成された信号を聞いてください。

同時再生とインターリーブ再生

人工内耳装着者に十分な聴覚の補強を行うためには、人工内耳に約 8 つの周波数チャネルが必要であることが研究結果から明らかになっています。一般に、8 を超えるチャネル数で再構成された信号には、複雑さの増大に見合う十分な効果を期待できません。このためこの例では、入力信号を 8 つの周波数成分または電気パルスに分解します。

モデルの左下の Speech Synthesized from Generated Pulses ブロックを使用すると、各電子チャネルを同時または順番に再生することができます。多くの場合、周波数が同時に発信されると、人工内耳装着者の聞き取り能力は低下します。これは、電気パルスが相互に作用し、干渉を引き起こすためです。インターリーブ方法でパルスを発信すると、多くの装着者でこの問題が軽減されます。Speech Synthesized From Generated Pulses ブロックのシンセシスモードを切り替えると、この 2 つのモードの違いを聞き分けることができます。パルスがインターリーブされているのを観測するには、Time Scope ブロックを拡大します。

ノイズの多い環境に対する調整

ノイズは人工内耳装着者にとって大きな問題です。再構成された信号でノイズの多い環境の影響をシミュレートするには、Input Source ブロックの "ノイズの追加" パラメーターを選択します。信号は聞き取りにくくなります。モデルの Denoise ブロックは、Soft Threshold ブロックを使用して、信号からノイズを除去しようとします。Denoise ブロックの "ノイズ除去" パラメーターを選択すると、再構成された信号を聞くことができ、ノイズの一部が除去されていないことがわかります。ノイズの問題が完全に解決されることはありません。したがって、ノイズ除去技術で得られる結果とそれにかかるコストを比較検討しなければなりません。

信号処理方法

Filter Bank Signal Processing ブロックの目的は、入力音声信号を 8 つの重なり合ったサブバンドに分解することにあります。詳細情報は、音声信号の高周波数でなく低周波数に含まれています。情報量の最も多い場所からできる限り多くの分解能を取得するために、サブバンドは低周波帯域が高周波帯域よりも狭くなるように間隔が空いています。この例では、4 つの低周波帯域は等間隔で、残りの 4 つの高周波帯域は低周波数の帯域幅の 2 倍の間隔になっています。8 つのフィルターバンクの周波数成分を調べるには、Input Source ブロックの Chirp ソース型を使用してモデルを実行します。

この例では、並列シングルレートの 2 次セクション IIR フィルターバンクとカスケードマルチレートの多段 FIR フィルターバンクという 2 つのフィルターバンクの実現方法を示しています。構造と周波数の仕様を調べるには、[Design Filter Banks] ボタンをダブルクリックします。

並列シングルレートの SOS IIR フィルターバンク: このバンクでは、6 次 IIR フィルターが 2 次セクション (SOS) として実装されます。最適なスケーリングゲインを得るために、DSP System Toolbox™ のスケール関数が使用されています。これは、この例の固定小数点バージョンには特に重要です。8 つのフィルターは入力信号レートで並列実行されています。[Plot IIR Filter Bank Response] ボタンをダブルクリックすると、周波数応答を確認できます。

カスケードマルチレートの多段 FIR フィルターバンク: このフィルターバンクの構造は、各フィルター段でダウンサンプリングとフィルター処理を組み合わせた方法の原理に基づいています。各サブバンドの全体的なフィルター応答は、その構成要素をカスケードすることで取得されます。[Design Filter Banks] ボタンをダブルクリックすると、これらのフィルターバンクの作成時に、DSP System Toolbox の設計関数がどのように使用されるかを調べることができます。

ダウンサンプリングは各フィルター段で適用されるため、後の段は入力信号レートの何分の 1 かの割合で実行されます。たとえば、最後のフィルター段では入力信号レートの 1/8 の割合を実行します。このため、この設計は、人工内耳音声処理装置で使用される処理サイクルに制限がある低消費電力の DSP での実装に非常に適しています。[Plot FIR Filter Bank Response] ボタンをダブルクリックすると、このフィルターバンクの周波数応答を確認できます。この構造は、並列シングルレートの SOS IIR フィルターバンクと比べると、より鋭く鋭敏なサブバンド定義を生成することに注意してください。この点においても、マルチレートの多段フィルター設計方法を使用する利点があります。関連する例については、DSP System Toolbox の FIR フィルター設計の例で「間引き/内挿の多段設計」を参照してください。

使用可能な例のバージョン

浮動小数点バージョン: dspcochlear

固定小数点バージョン: dspcochlear_fixpt

参照

[1] Loizou, Philip C., "Mimicking the Human Ear," IEEE® Signal Processing Magazine, Vol. 15, No. 5, pp. 101-130, 1998.