predictorImportance

決定木の分類アンサンブルに関する予測子の重要度の推定

構文

imp = predictorImportance(ens)

[imp,ma] = predictorImportance(ens)

説明

imp = predictorImportance(ens) は、アンサンブル内のすべての弱学習器の推定を合計することにより、ens の予測子の重要度の推定を計算します。imp には、アンサンブルの学習に使用されたデータ内の入力予測子ごとに 1 つの要素が含まれます。値が高ければ、その予測子が ens で重要であることを示します。

[imp,ma] = predictorImportance(ens) は、ens 内の学習器に代理分岐が含まれる場合に、P 予測子の関連性予測尺度 ma をもつ P 行 P 列の行列を追加で返します。詳細については、予測子の重要度を参照してください。

メモ

予測子の重要度は決定木のアンサンブルについてのみ計算できます。

例

予測子の重要度の推定

フィッシャーのアヤメのデータに含まれるすべての変数について予測子の重要度を推定します。

フィッシャーのアヤメのデータ セットを読み込みます。

load fisheriris

AdaBoostM2 を使用してアンサンブル分類に学習させます。弱学習器として木の切り株を指定します。

t = templateTree(MaxNumSplits=1);
ens = fitcensemble(meas,species,Method="AdaBoostM2",Learners=t);

すべての予測子変数について予測子の重要度を推定します。

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

最初の 2 つの予測子は、アンサンブルでの重要度があまり高くありません。

予測子の重要度と代理分岐

木に代理分岐が含まれているアンサンブルで、フィッシャーのアヤメのデータに含まれるすべての変数について予測子の重要度を推定します。

フィッシャーのアヤメのデータ セットを読み込みます。

load fisheriris

AdaBoostM2 を使用して 100 本の分類木のアンサンブルを成長させます。弱学習器として木の切り株を指定し、代理分岐も指定します。

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

すべての予測子変数について予測子の重要度と関連性予測尺度を推定します。

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0674    0.0417    0.1582    0.1537

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

予測子の重要度の推定の解析に比べ、最初の 2 つの予測子の重要度がはるかに高くなっています。

入力引数

ens — アンサンブル分類モデル

ClassificationEnsemble モデル オブジェクト | ClassificationBaggedEnsemble モデル オブジェクト | CompactClassificationEnsemble モデル オブジェクト

アンサンブル分類モデル。fitcensemble で学習させた ClassificationEnsemble または ClassificationBaggedEnsemble モデル オブジェクト、または compact で作成した CompactClassificationEnsemble モデル オブジェクトとして指定します。

ens.LearnerNames のいずれかのエントリが 'knn' または 'discriminant' である場合、予測子の重要度は計算できません。

出力引数

imp — 予測子の重要度の推定

数値行ベクトル

予測子の重要度の推定。ens.X の予測子 (列) の数と同じ数の要素をもつ数値行ベクトルとして返されます。このエントリは予測子の重要度の推定で、0 は考えられる最小の重要度を示します。

ma — 関連性予測尺度

数値行列

関連性予測尺度。P 予測子の関連性予測尺度の値をもつ P 行 P 列の行列として返されます。要素 ma(I,J) は、予測子 I が最適分割予測子となる予測子 J の代理分岐を平均化した関連性予測尺度です。predictorImportance は、アンサンブル内のすべての弱学習器におけるこの関連性予測尺度を平均化します。

詳細

予測子の重要度

predictorImportance は、アンサンブル ens 内の各学習器について予測子の重要度を推定し、ens.TrainedWeight を使用して計算された加重平均 imp を返します。出力 imp には、予測子ごとに 1 つの要素が含まれています。

predictorImportance は、すべての予測子について分割によるノード リスクの変動を合計し、この合計を枝ノードの総数で除算することにより、木における予測子の重要度の尺度を計算します。ノード リスクの変動は、親ノードのリスクと 2 つの子のリスク合計との差です。たとえば、木で親ノード (例: ノード 1) が 2 つの子ノード (例: ノード 2 とノード 3) に分割される場合、predictorImportance は、次によって分割予測子の重要度を高めます。

(R₁ – R₂ – R₃)/N_branch,

ここで、R_i はノード i のノード リスク、N_branch は枝ノードの総数です。"ノード リスク" は、ノード確率によって重み付けされたノード誤差またはノード不純度として定義されます。

R_i = P_iE_i,

ここで、P_i はノード i のノード確率、E_i はノード i のノード誤差 (twoing の基準を最小にして成長させた木の場合) またはノード不純度 (ジニ指数や逸脱度などの不純度の基準を最小にして成長させた木の場合) のいずれかです。

予測子の重要度の推定は、学習に代理分岐を使用するかどうかによって変化します。

• 代理分岐を使用する場合、predictorImportance は、各枝ノードにおいて代理分岐を含むすべての分割上でノード リスクの変動を合計します。代理分岐を使用しない場合、この和は各枝ノードで検出される最適分割上で計算されます。

• 予測子の重要度の推定は、代理分岐を使用する場合、予測子の順序には依存しませんが、代理分岐を使用しない場合には、予測子の順序に依存します。

不純度とノード誤差

決定木では、"不純度" または "ノード誤差" に基づいてノードを分割します。

不純度とは、SplitCriterion 名前と値の引数によって、次のいずれかの意味を表します。

• ジニ多様性指数 (gdi) — ノードのジニ指数は、次の式で表されます。

  $$1-{\displaystyle \sum _i{p}^2(i)},$$

  ここで、合計はノードのクラス i 全体が対象であり、p(i) は、ノードに到達したクラス i をもつ観測クラスの比率です。クラスを 1 つだけもつノード ("純粋" ノード) のジニ指数は 0 です。それ以外のノードでは、ジニ指数は正の値です。したがって、ジニ指数はノードの不純度の基準です。

• 逸脱度 ("deviance") — ノードの逸脱度は、ジニ指数と同様に定義された p(i) を用いて次の式で表されます。

  $$-{\displaystyle \sum _{i}p(i){\log }_{2}p(i)}.$$

  純粋ノードの逸脱度は 0 です。それ以外のノードでは、逸脱度は正の値です。

• Twoing 規則 ("twoing") — Twoing はノードの純粋度の基準ではありませんが、ノードの分割を判断するための別の基準の 1 つです。L(i) は、分割後の左側の子ノードのクラス i のメンバーの比率を示し、R(i) は分割後の右側の子ノードのクラス i のメンバーの比率を示すとします。最大化するための分割基準を選択します。

  $$P(L)P(R){\left({\displaystyle \sum _i\left|L(i)-R(i)\right|}\right)}^2,$$

  ここで、P(L) および P(R) は、それぞれ左側と右側に分割された観測値の比率を表します。式が大きい場合は、分割によって各子ノードの純粋度は高くなります。同様に、式が小さい場合は、分割によって各子ノードが互いに類似するようになります。このため、親ノードとも類似するようになります。分割によるノードの純粋度の向上はありませんでした。

• ノード誤差 — ノード誤差はノードで誤分類されたクラスの比率です。j がノードで最大の学習標本数をもつクラスである場合は、ノード誤差は次のように表されます。

  1 – p(j).

関連性予測尺度

"関連性予測尺度" は、観測値を分割する決定規則間の類似度を示す値です。(木を成長させることによって求められる) 最適な分割に対して比較される、可能なすべての決定分岐の中で、最適な代理決定分岐は関連性予測尺度が最大になります。2 番目に最適な代理分岐は、関連性予測尺度が 2 番目に大きくなります。

x_j と x_k がそれぞれ予測子変数 j および k であり、j ≠ k であるとします。ノード t における最適な分割 x_j < u と代理分岐 x_k < v の間の関連性予測尺度は、次のようになります。

$${\lambda }_{jk}=\frac{\text{min}\left(P_L,P_R\right)-\left(1-P_{L_j{L}_k}-P_{R_j{R}_k}\right)}{\text{min}\left(P_L,P_R\right)}.$$

• P_L は、ノード t において x_j < u となる観測値の比率です。添字 L は、ノード t の左の子を表します。

• P_R は、ノード t において x_j ≥ u となる観測値の比率です。添字 R は、ノード t の右の子を表します。

• $$P_{L_j{L}_k}$$ は、ノード t において x_j < u および x_k < v となる観測値の比率です。

• $$P_{R_j{R}_k}$$ は、ノード t において x_j ≥ u および x_k ≥ v となる観測値の比率です。

• x_j または x_k について欠損値がある観測値は、比率の計算に使用されません。

λ_jk は、(-∞,1] の値になります。λ_jk > 0 である場合、x_k < v は x_j < u の代理分岐として価値があります。

アルゴリズム

要素 ma(i,j) は、予測子 j が最適分割予測子となる予測子 i の代理分岐を平均化した関連性予測尺度です。この平均は、予測子 i の最適分割、および予測子 j の代理分岐における関連性予測尺度の正の値を合計し、予測子 i と j 間の関連性予測尺度が負になる分割も含めた、予測子 i の最適分割の合計数で除算することによって計算されます。

拡張機能

GPU 配列

Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

この関数は、GPU 配列を完全にサポートします。詳細は、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

バージョン履歴

R2011a で導入

参考

predictorImportance (ClassificationTree) | templateTree

トピック

• 分割予測子選択手法の選択
• 特徴選択の紹介
• 機械学習モデルの解釈