説明可能なAI

「ブラックボックス」である機械学習モデルの予測の仕組みを理解する

機械学習やディープラーニングのモデルが「ブラックボックス」と呼ばれることが多いのは、その知識表現が直感的でないため、どのように機能しているのかを理解するのが困難だからです。説明可能なAIとは、多くの機械学習アルゴリズムのブラックボックス的性質を克服するための技術のことです。

さまざまな特徴がどのように予測に寄与するか (または寄与しないか) を明らかにすることで、モデルがその予測を行うのに適切な証拠を使用しているかどうかを検証し、学習中には明らかにならなかったモデルのバイアスを検出することができます。機械学習モデルの中には、線形回帰、決定木、一般化加法モデルなど、本質的に解釈可能性を持つものがあります。ただし、多くの場合、説明可能なAIによって、予測力や予測精度が犠牲になります (図 1)。

図 1: モデルの性能と説明可能なAIのトレードオフ

図 1: モデルの性能と説明可能なAIのトレードオフ

説明可能なAIの適用

実務担当者は、主に次の3つの理由から説明可能なAIのモデルを必要としています。

  • デバッグ: 予測がうまくいかない場所や理由を理解し、what-if シナリオを実行することで、モデルのロバスト性を高め、バイアスを排除することができます。
  • ガイドライン: ブラックボックスモデルは、多くの企業の技術的ベストプラクティスや、個人的な好みには合わないものです。
  • 規制: 金融、公衆衛生、輸送など機密性の高いアプリケーションに対する政府の規制に準拠するために、説明可能なAIのモデルが不可欠です。

説明可能なAIのモデルは、これらの懸念に対処し、規制上、予測についての説明が重要もしくは必要である状況において、モデルの信頼性を高めます。

説明可能なAIは、以下の図 2 に示すように、3 つのレベルで適用することができます。

  • ローカル: 個別の予測の要因を説明します (ローン申請が拒否された理由など)
  • コホート: 学習用やテスト用データセット内の特定の母集団またはグループに関して、モデルがどのように予測するかを説明します (あるグループの製品が不良品と分類された理由など)
  • グローバル: 学習用やテスト用データセットの全体にわたって機械学習モデルがどのように機能するかを理解します (モデルが放射線画像を分類する際に、どのような要因を考慮しているかなど)
図 2: 説明可能なAIモデルの使用例。

図 2: 説明可能なAIモデルの使用例。

MATLAB での説明可能なAI技術の使用

機械学習に MATLAB® を使用することで、本来は説明可能ではない、評判が良く高精度の機械学習モデルを解釈して説明するための技術を適用することができます。

LIME (Local Interpretable Model-Agnostic Explanations): 線形モデルや決定木などの単純な解釈可能モデルを使って、目的とする予測の近傍にある複雑なモデルを近似し、元の (複雑な) モデルがどのように機能するのかを説明するためのサロゲートとして使用します。以下の図 3 は、LIME を適用するための 3 つの主要な手順を示しています。

図 3: 単純な解釈可能モデルである lime オブジェクトを当てはめることで、MATLAB で LIME の説明を取得できます。

図 3: 単純な解釈可能モデルである lime オブジェクトを当てはめることで、MATLAB で LIME の説明を取得できます。

部分従属プロット (PDP) および個別条件付き期待値 (ICE) プロット: 予測に影響する可能性のあるすべての特徴量でモデルの出力を平均化することで、全体的な予測における 1 つまたは 2 つの予測子の影響を検証します。下の図 4 は、MATLAB 関数 plotPartialDependence を使用して生成した、部分従属プロットです。

図 4: x1 の値が 3000 を超えるかどうかで、予測およびモデルの解釈可能性に大きな違いがあることを示す部分従属プロット。

図 4: x1 の値が 3000 を超えるかどうかで、予測およびモデルの解釈可能性に大きな違いがあることを示す部分従属プロット。

シャープレイ値: 関心のある予測値の平均値からの偏差を計算することで、各予測子が予測にどれだけ寄与しているかを説明します。この手法はゲーム理論に基づくこと、また、完全な説明が求められる規制上の要件を満たすことから、金融業界で人気があります。すべての特徴のシャープレイ値の合計は、平均値からの予測値の偏差の合計と一致します。MATLAB 関数 shapley は、関心のあるクエリ点のシャープレイ値を計算します。

図 5: シャープレイ値は、各予測子が関心点における平均予測値からどれだけ乖離しているかを示しています。

図 5: シャープレイ値は、各予測子が関心点における平均予測値からどれだけ乖離しているかを示す。

特徴の組み合わせをすべて評価するには、通常長い時間がかかります。そのため、実際には、多くの場合、モンテカルロ シミュレーションを適用してシャープレイ値を近似させています。

MATLAB は、ランダムフォレストの置換された予測子の重要度もサポートしています。これは、テスト用データセットまたは学習用データセットでのモデル予測誤差を調べ、予測子の値をシャッフルして、それによる誤差の変化の大きさが予測子の重要度と一致することを推定する手法です。

解釈可能性の手法を選択する

図 6 は、本質的に説明可能な機械学習の概要、さまざまな (モデルに依存しない) 解釈可能なAIメソッド、およびそれらを適用する場合の指針を示しています。

図 6: 適切な解釈可能な AI メソッドを選択する方法。

図 6: 適切な解釈可能な AI メソッドを選択する方法。

各解釈可能な AI メソッドには、それぞれ制限があります。ベストプラクティスは、アルゴリズムをさまざまな使用例に当てはめる場合に、これらの制限を意識することです。説明可能なAIツールは、機械学習モデルがそのように予想する理由を理解するのに役立ちます。これは、AI の用途を検証し、妥当性を確認する際に重要な役割を果たします。現在、認証機関では、自律型輸送や医療などの機密性の高いアプリケーションを対象とした AI 認証のフレームワークに取り組んでいます。

参考: artificial intelligence, machine learning, supervised learning, deep learning, AutoML