このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

predictorImportance

決定木の分類アンサンブルに関する予測子の重要度の推定

構文

imp = predictorImportance(ens)
[imp,ma] = predictorImportance(ens)


説明

imp = predictorImportance(ens) は、アンサンブル内のすべての弱学習器の推定を合計することにより、ens の予測子の重要度の推定を計算します。imp は、このアンサンブルが学習に使用するデータ内にある入力予測子それぞれにつき 1 つの要素をもちます。値が高ければ、ens でこの予測子が重要であることを示します。

[imp,ma] = predictorImportance(ens) は、ens 内の学習器に代理分岐が含まれる場合、P 予測子の関連性予測尺度をもつ、P x P の行列を返します。詳細を参照してください。

入力引数

ens	fitcensemble または compact メソッドで作成された決定木のアンサンブル分類。

出力引数

imp	ens.X での予測子 (列) の数と同じ数の要素をもつ、行ベクトル。このエントリは、予測子の重要度の推定で、0 は、可能な限り最小の重要度を示します。
ma	P 予測子の関連性予測尺度をもつ、P 行 P 列の行列。要素 ma(I,J) は、予測子 I が最適分割予測子となる予測子 J の代理分岐を平均化した関連性予測尺度です。predictorImportance は、アンサンブル内のすべてのツリーにおけるこの関連性予測尺度を平均化します。

例

予測子の重要度の推定

フィッシャーのアヤメのデータに含まれているすべての変数について予測子の重要度を推定します。

フィッシャーのアヤメのデータセットを読み込みます。

load fisheriris

AdaBoostM2 を使用してアンサンブル分類に学習をさせます。弱学習器として木の切り株を指定します。

t = templateTree('MaxNumSplits',1);
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

すべての予測子変数について予測子の重要度を推定します。

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

最初の 2 つの予測子は、アンサンブルにおいてあまり重要ではありません。

予測子の重要度と代理分岐

木に代理分岐が含まれているアンサンブルについて、フィッシャーのアヤメのデータに含まれているすべての変数に対する予測子の重要度を推定します。

フィッシャーのアヤメのデータセットを読み込みます。

load fisheriris

AdaBoostM2 を使用して 100 本の分類木のアンサンブルを成長させます。弱学習器として木の切り株を指定し、代理分岐も指定します。

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

すべての予測子変数について予測子の重要度と関連性予測尺度を推定します。

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0674    0.0417    0.1582    0.1537

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

最初の 2 つの予測子は、予測子の重要度の推定の分析よりもはるかに重要度が高くなっています。

詳細

予測子の重要度

predictorImportance は、アンサンブル ens 内の各木学習器について予測子の重要度を推定し、ens.TrainedWeight を使用して計算された加重平均 imp を返します。出力 imp には、予測子ごとに 1 つの要素が含まれています。

predictorImportance は、すべての予測子について分割によるノード リスクの変動を合計し、この合計を枝ノードの総数で除算することにより、木における予測子の重要度の尺度を計算します。ノード リスクの変動は、親ノードのリスクと 2 つの子のリスク合計との差です。たとえば、木で親ノード (例: ノード 1) が 2 つの子ノード (例: ノード 2 とノード 3) に分割される場合、predictorImportance は、次によって分割予測子の重要度を高めます。

(R₁ – R₂ – R₃)/N_branch,

ここで、R_i はノード i のノード リスク、N_branch は枝ノードの総数です。"ノード リスク" は、ノード確率によって重み付けされたノード誤差またはノードの不純度として定義されます。

R_i = P_iE_i,

ここで、P_i はノード i のノード確率、E_i はノード i のノード誤差 (twoing 基準を最小化することで成長させた木の場合) またはノードの不純度 (ジニ指数や逸脱度などの不純度基準を最小化することで成長させた木の場合) です。

予測子の重要度の推定は、学習に代理分岐を使用するかどうかによって変化します。

• 代理分岐を使用する場合、predictorImportance は、各枝ノードにおいて代理分岐を含むすべての分割上でノード リスクの変動を合計します。代理分岐を使用しない場合、この和は各枝ノードで検出される最適分割上で計算されます。

• 予測子の重要度の推定は、代理分岐を使用する場合、予測子の順序には依存しませんが、代理分岐を使用しない場合には、予測子の順序に依存します。

不純度とノード誤差

決定木では、"不純度" または "ノード誤差" に基づいてノードを分割します。

不純度とは、SplitCriterion 名前と値のペアの引数によって、次のいずれかの意味を表します。

• ジニ多様性指数 (gdi) — ノードのジニ指数は、次の式で表されます。

  $$1-{\displaystyle \sum _i{p}^2(i)},$$

  ここで、合計はノードのクラス i 全体が対象であり、p(i) は、ノードに到達したクラス i をもつ観測クラスの比率です。クラスを 1 つだけもつノード ("純粋" ノード) のジニ指数は 0 です。それ以外のノードでは、ジニ指数は正の値です。したがって、ジニ指数はノードの不純度の基準です。

• 逸脱度 ('deviance') — ノードの逸脱度は、ジニ指数と同様に定義された p(i) を用いて次の式で表されます。

  $$-{\displaystyle \sum _{i}p(i){\log }_{2}p(i)}.$$

  純粋ノードの逸脱度は 0 です。それ以外のノードでは、逸脱度は正の値です。

• Twoing 規則 ('twoing') — Twoing はノードの純粋度の基準ではありませんが、ノードの分割を判断するための別の基準の 1 つです。L(i) は、分割後の左側の子ノードのクラス i のメンバーの比率を示し、R(i) は分割後の右側の子ノードのクラス i のメンバーの比率を示すとします。最大化するための分割基準を選択します。

  $$P(L)P(R){\left({\displaystyle \sum _i\left|L(i)-R(i)\right|}\right)}^2,$$

  ここで、P(L) および P(R) は、それぞれ左側と右側に分割された観測値の比率を表します。式が大きい場合は、分割によって各子ノードの純粋度は高くなります。同様に、式が小さい場合は、分割によって各子ノードが互いに類似するようになります。このため、親ノードとも類似するようになります。分割によるノードの純粋度の向上はありませんでした。

• ノード誤差 — ノード誤差はノードで誤分類されたクラスの比率です。j がノードで最大の学習標本数をもつクラスである場合は、ノード誤差は次のように表されます。

  1 – p(j).

関連性予測尺度

"関連性予測尺度" は、観測値を分割する決定規則間の類似度を示す値です。(木を成長させることによって求められる) 最適な分割に対して比較される、可能なすべての決定分岐の中で、最適な代理決定分岐は関連性予測尺度が最大になります。2 番目に最適な代理分岐は、関連性予測尺度が 2 番目に大きくなります。

x_j と x_k がそれぞれ予測子変数 j および k であり、j ≠ k であるとします。ノード t における最適な分割 x_j < u と代理分岐 x_k < v の間の関連性予測尺度は、次のようになります。

$${\lambda }_{jk}=\frac{\text{min}\left(P_L,P_R\right)-\left(1-P_{L_j{L}_k}-P_{R_j{R}_k}\right)}{\text{min}\left(P_L,P_R\right)}.$$

• P_L は、ノード t において x_j < u となる観測値の比率です。添字 L は、ノード t の左の子を表します。

• P_R は、ノード t において x_j ≥ u となる観測値の比率です。添字 R は、ノード t の右の子を表します。

• $$P_{L_j{L}_k}$$ は、ノード t において x_j < u および x_k < v となる観測値の比率です。

• $$P_{R_j{R}_k}$$ は、ノード t において x_j ≥ u および x_k ≥ v となる観測値の比率です。

• x_j または x_k について欠損値がある観測値は、比率の計算に使用されません。

λ_jk は、(-∞,1] の値になります。λ_jk > 0 である場合、x_k < v は x_j < u の代理分岐として価値があります。

アルゴリズム

要素 ma(i,j) は、予測子 j が最適分割予測子となる予測子 i の代理分岐を平均化した関連性予測尺度です。この平均は、予測子 i の最適分割、および予測子 j の代理分岐における関連性予測尺度の正の値を合計し、予測子 i と j 間の関連性予測尺度が負になる分割も含めた、予測子 i の最適分割の合計数で除算することによって計算されます。

拡張機能

GPU 配列

Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

この関数は、GPU 配列を完全にサポートします。詳細は、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

参考

predictorImportance (ClassificationTree) | templateTree

トピック

• 分割予測子選択手法の選択
• 特徴選択の紹介
• 機械学習モデルの解釈

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい