解釈可能性は、人間が機械学習アルゴリズムを理解できる度合いを表します。具体的には、解釈可能性とは、機械学習モデルによる予測や決定の背後にある推論を理解する能力のことをいいます。
解釈可能性の手法は、機械学習モデルが予測を行う方法を解明するのに役立ちます。解釈可能性の手法は、各種特徴量が予測にどのように寄与している (または寄与していない) のかを明らかにすることで、機械学習モデルがその予測を行うのに適切な証拠を使用しているかどうかを検証し、学習中にははっきりしなかったモデルのバイアスを検出するのに役立ちます。機械学習モデルの中には、線形回帰、決定木、一般化加法モデルなど、本質的に解釈可能性を持つものがあります。ただし、多くの場合、図 1 に示すとおり、解釈可能性によって予測性能および予測精度が犠牲になります。
図 1. 一般的な機械学習アルゴリズムにおける予測性能と解釈可能性のトレードオフ。
解釈可能性と説明可能性
説明可能な AI は新しい分野であり、この分野では解釈可能性と説明可能性という密接に関連する 2 つの用語がよく互換的に使用されます。ただし、解釈可能性と説明可能性は異なります。説明可能性とは、必ずしもモデルの内部のメカニズムを理解することなく、機械学習モデルの動作を人間の言葉で説明することをいいます。説明可能性は、モデルに依存しない解釈可能性とみることもできます。
エンジニアにとって、システムの動作を説明するアプローチの 1 つは、第一原理を使用することです。第一原理モデルには、明確で説明可能な物理的な意味があり、その動作をパラメーター化することができます。その種のモデルは「ホワイトボックス」と呼ばれています。機械学習モデルの動作は、ますます「不透明」になっています。
機械学習モデルの複雑度、知識表現の直感性は多様であるため、そのしくみを完全に理解するのは困難です。機械学習モデルには、その内部のメカニズムを理解するために解釈可能性の手法を適用できる「グレーボックス」と、その動作を理解するために説明可能性 (またはモデルに依存しない解釈可能性) の手法を適用できる「ブラックボックス」があります。ディープラーニング モデルは、通常ブラックボックスです。
図 2. 解釈可能性の手法は「グレーボックス」モデルにも適用できますが、「ブラックボックス」モデルには説明可能性の手法を使用するのが一般的です。
解釈可能性の大域的な手法と局所的な手法
解釈可能性は通常、以下の 2 つのレベルで適用されます。
- 大域的な手法: これらの解釈可能性の手法は、入力データと予測される出力に基づいて、モデル内で最も影響力のある変数の概要を提供します。
- 局所的な手法: これらの解釈可能性の手法は、1 つの予測結果に関する 1 つの説明を提供します。
図 3 は、解釈可能性の局所的な範囲と大域的な範囲の違いを示したものです。また、データ内のグループに解釈可能性を適用し、製造された製品のグループが不良品として分類された理由など、グループレベルでの結論を導き出すこともできます。
図 3. 解釈可能性の大域的な手法と局所的な手法: 2 つのクラスは、紫とオレンジのドットで表されています。
MATLAB による解釈可能性の例
広く利用されている解釈可能性の局所的な手法には、LIME (Local Interpretable Model-Agnostic Explanations)、シャープレイ値などがあります。解釈可能性の大域的な手法について、多くのユーザーは、特徴量ランク付け (または重要度) と部分従属プロットの可視化から始めます。MATLAB® を使用したこれらの手法の適用について、以下に例を示します。
エンジニアや科学者は、主に次の 3 つの理由からモデルの解釈可能性を必要としています。
- デバッグ: 予測が外れる場合と理由の理解。「what-if」シナリオを実行することで、モデルのロバスト性を高め、バイアスを排除できます。
- ガイドライン: ブラックボックス モデルやグレーボックスモデルは、業界のベストプラクティスに違反する可能性があります。
- 規制: 政府の規制により、金融、公衆衛生、輸送などのセンシティブなアプリケーションに対して解釈可能性が求められる場合があります。
モデルの解釈可能性は、競合するモデル間で結果を比較する場合など、予測に対する説明が重要である状況や、規制によって解釈可能性が求められる場合など、予測に対する説明が必要な状況で、これらの懸念事項に対処しモデルの信頼性を高めます。
解釈可能性が重要となる用途
解釈可能性ツールは、機械学習モデルが予測をどのように行うのかを理解するのに役立ちます。解釈可能性は、規制機関や専門機関が、以下のように機微なアプリケーションにおける AI の利用を認証するフレームワークを構築し続ける中で、ますます重要性を増していくと考えられます。
MATLAB を Statistics and Machine Learning Toolbox™ とともに使用することで、機械学習モデルを解釈するための手法を適用できます。ここでは、広く利用されている解釈可能性の手法の一部を説明します。
LIME (Local Interpretable Model-Agnostic Explanations): LIME は、線形モデルや決定木などの単純な解釈可能モデルを用いて、目的とする予測の近傍にある複雑なモデルを近似するために使用します。次に、元の (複雑な) モデルがどのように機能するのかを説明するためのサロゲートとして、よりシンプルなモデルを使用します。図 4 は、LIME を適用するための 3 つの主要な手順を示しています。
図 4. MATLAB で LIME オブジェクトを当てはめることで、単純な解釈可能モデルを使用して LIME の説明を取得できます。
部分従属プロット (PDP) および個別条件付き期待値 (ICE) プロット: これらの手法を使用して、予測に影響する可能性のあるすべての特徴量でモデルの出力を平均化することで、全体的な予測における 1 つまたは 2 つの予測子の影響を検証します。図 5 は、関数 plotPartialDependence で生成された部分従属プロットを示しています。
厳密に言うと、部分従属プロットは、予測子の値の特定の範囲が予測に対する特定の尤度と関連していることを示しますが、予測子の値と予測の間の因果関係を立証するには十分ではありません。ただし、LIME のように解釈可能性の局所的な手法が、予測子が (目的とする領域で) 予測に有意に影響したことを示す場合、モデルがその局所的な領域で特定の動作をした理由を説明することができます。
シャープレイ値: この手法では、関心のある予測値の平均値からの偏差を計算することで、各予測子が予測にどれだけ寄与しているかを説明します。この手法は、理論的裏付けとしてゲーム理論に基づくこと、また、完全な説明が求められる規制上の要件を満たすことから、金融業界で特に人気があります。すべての特徴のシャープレイ値の合計は、平均値からの予測値の偏差の合計と一致します。関数 shapley は、関心のあるクエリ点のシャープレイ値を計算します。
特徴の組み合わせをすべて評価するには、通常長い時間がかかります。そのため、実際には、多くの場合、モンテカルロ シミュレーションを適用してシャープレイ値を近似させています。
図 6 は、目的のサンプルに近い心臓の不整脈を予測するというコンテキストにおいて、MFCC4 は「異常」の予測に対する強い肯定的な影響を示し、MFCC11 と 5 はその予測に反し、「正常」な心臓に影響することを示します。
図 5. ジャイロスコープが大きな角速度を示すと、クラスが "立つ" 確率が急激に低下することを示す部分従属プロット。
図 6. シャープレイ値は、各予測子がゼロの垂線で示された関心点における平均予測値からどれだけ乖離しているかを示しています。
並べ替えによる予測子の重要度の推定: MATLAB は、ランダムフォレスト用に並べ替えられた予測子の重要度もサポートしています。このアプローチは、予測子の値の変化がモデルの予測誤差に与える影響を予測子の重要度の指標として用いるものです。この関数は、テストデータまたは学習データ上で予測子の値をシャッフルして、それによる誤差の変化の大きさを観察するものです。
解釈可能性の手法を選択する
解釈可能性の手法には、それぞれ制限と強みがあります。アプリケーションに解釈可能性が必要な場合は、こうした事情を考慮してください。図 7 は、解釈可能性の手法に関する概要と、その適用方法に関するガイダンスです。図 7 に示した解釈可能性の手法は、MATLAB で利用できます。
図 7. 適切な解釈可能性の手法を選択する方法。
