最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

kfoldPredict

学習で使用しない観測値のラベルの予測

構文

Label = kfoldPredict(CVMdl)

Label = kfoldPredict(CVMdl,Name,Value)

[Label,NegLoss,PBScore] = kfoldPredict(___)

[Label,NegLoss,PBScore,Posterior] = kfoldPredict(___)

説明

Label = kfoldPredict(CVMdl) は、線形分類モデルから構成されている交差検証済みの ECOC モデル CVMdl によって予測したクラス ラベルを返します。つまり、他のすべての観測値を使用して学習を行うときにホールドアウトする観測値のクラス ラベルを、kfoldPredict はすべての分割について予測します。kfoldPredict は、CVMdl を作成するために使用したものと同じデータを適用します (fitcecoc を参照)。

また、CVMdl を構成する線形分類モデルの各正則化強度に対するクラス ラベルが Label に格納されます。

Label = kfoldPredict(CVMdl,Name,Value) は、1 つ以上の Name,Value のペア引数により指定された追加オプションを使用して、予測クラス ラベルを返します。たとえば、事後確率推定法、復号化スキームまたは詳細レベルを指定します。

[Label,NegLoss,PBScore] = kfoldPredict(___) は、ホールドアウト観測値と各正則化強度について、以下をさらに返します。

• クラスごとの平均バイナリ損失の符号を反転した値 (NegLoss)

• 各バイナリ学習器の陽性クラスのスコア (PBScore)

[Label,NegLoss,PBScore,Posterior] = kfoldPredict(___) は、ホールドアウトされた観測値および各正則化強度について、事後クラス確率の推定値をさらに返します。事後確率を返すには、線形分類モデル学習器がロジスティック回帰モデルでなければなりません。

入力引数

CVMdl — 線形分類モデルから構成される交差検証済みの ECOC モデル

ClassificationPartitionedLinearECOC モデル オブジェクト

線形分類モデルから構成される交差検証済みの ECOC モデル。ClassificationPartitionedLinearECOC モデル オブジェクトを指定します。ClassificationPartitionedLinearECOC モデルを作成するには、fitcecoc を使用し、以下を行います。

1. 交差検証用の名前と値のペアの引数のいずれか 1 つ (CrossVal など) を指定

2. 名前と値のペアの引数 Learners を、'linear' に、または templateLinear によって返される線形分類モデル テンプレートに設定

推定値を取得するため、kfoldPredict は ECOC モデルの交差検証に使用したものと同じデータ (X および Y) を適用します。

名前と値のペアの引数

オプションの引数 Name,Value のコンマ区切りペアを指定します。Name は引数名で、Value は対応する値です。Name は引用符で閉じなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を任意の順序で指定できます。

'BinaryLoss' — バイナリ学習器損失関数

'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | 関数ハンドル

バイナリ学習器の損失関数。'BinaryLoss' と組み込みの損失関数名または関数ハンドルから構成されるコンマ区切りのペアとして指定します。

• 次の表には、組み込み関数の名前と説明が含まれています。ここで、y_j は特定のバイナリ学習器のクラス ラベル (集合 {-1,1,0} 内)、s_j は観測値 j のスコア、g(y_j,s_j) はバイナリ損失の式です。

  値	説明	スコア領域	g(yj,sj)
  'binodeviance'	二項分布からの逸脱度	(–∞,∞)	log[1 + exp(–2yjsj)]/[2log(2)]
  'exponential'	指数	(–∞,∞)	exp(–yjsj)/2
  'hamming'	ハミング	[0,1] または (–∞,∞)	[1 – sign(yjsj)]/2
  'hinge'	ヒンジ	(–∞,∞)	max(0,1 – yjsj)/2
  'linear'	線形	(–∞,∞)	(1 – yjsj)/2
  'logit'	ロジスティック	(–∞,∞)	log[1 + exp(–yjsj)]/[2log(2)]
  'quadratic'	2 次	[0,1]	[1 – yj(2sj – 1)]2/2

  バイナリ損失は、y_j = 0 の場合に損失が 0.5 になるように正規化されます。また、各クラスについて平均のバイナリ損失が計算されます。

• カスタム バイナリ損失関数、たとえば customFunction は関数ハンドル 'BinaryLoss',@customFunction を指定します。

  customFunction は以下のような形式になります。

  bLoss = customFunction(M,s)

  ここで、

  • M は Mdl.CodingMatrix に格納された K 行 L 列のコーディング行列です。

  • s は、1 行 L 列の分類スコアの行ベクトルです。

  • bLoss は分類損失です。このスカラーは、特定のクラスのすべての学習器についてバイナリ損失を集計します。たとえば、平均バイナリ損失を使用して、各クラスの学習器の損失を集計できます。

  • K は、クラスの数です。

  • L は、バイナリ学習器の数です。

  カスタムなバイナリ損失関数を渡す例については、カスタム バイナリ損失関数を使用する ECOC モデルの検定標本ラベルの予測を参照してください。

既定の設定では、すべてのバイナリ学習器が以下を使用する線形分類モデルである場合、次のようになります。

• SVM の場合、BinaryLoss は 'hinge' になります。

• ロジスティック回帰の場合、BinaryLoss は 'quadratic' になります。

例: 'BinaryLoss','binodeviance'

データ型: char | string | 関数ハンドル

'Decoding' — 復号化スキーム

'lossweighted' (既定値) | 'lossbased'

バイナリ損失を集計する復号化方式。'Decoding' と 'lossweighted' または 'lossbased' から構成されるコンマ区切りのペアとして指定します。詳細は、バイナリ損失 を参照してください。

例: 'Decoding','lossbased'

'NumKLInitializations' — ランダムな初期値の数

0 (既定値) | 非負の整数

カルバック・ライブラー ダイバージェンスの最小化により事後確率を近似するランダムな初期値の数。'NumKLInitializations' と非負の整数から構成されるコンマ区切りのペアとして指定します。

このオプションを使用するには、以下が必要です。

• 4 番目の出力引数 (Posterior) を返します。

• ECOC モデルを構成する線形分類モデルでロジスティック回帰学習器を使用しなければなりません (つまり、CVMdl.Trained{1}.BinaryLearners{1}.Learner が 'logistic' でなければなりません)。

• PosteriorMethod は 'kl' でなければなりません。

詳細は、カルバック・ライブラー ダイバージェンスを使用する事後推定を参照してください。

例: 'NumKLInitializations',5

データ型: single | double

'Options' — 推定オプション

[] (既定値) | statset によって返される構造体配列

推定オプション。statset により返される 'Options' と構造体配列から構成されるコンマ区切りのペアとして指定します。

並列計算を起動するには、以下を行います。

• Parallel Computing Toolbox™ ライセンスが必要です。

• 'Options',statset('UseParallel',1) を指定します。

'PosteriorMethod' — 事後確率推定法

'kl' (既定値) | 'qp'

事後確率推定法。'PosteriorMethod' と 'kl' または 'qp' で構成されるコンマ区切りのペアとして指定します。

• このオプションを使用するには、4 番目の出力引数 (Posterior) を返さなければならず、ECOC モデルを構成する線形分類モデルでロジスティック回帰学習器を使用しなければなりません (つまり、 CVMdl.Trained{1}.BinaryLearners{1}.Learner が 'logistic' でなければなりません)。

• PosteriorMethod が 'kl' の場合、バイナリ学習器によって返される予測された事後確率と期待された事後確率間のカルバック・ライブラー ダイバージェンスを最小化することにより、マルチクラス事後確率が推定されます。詳細は、カルバック・ライブラー ダイバージェンスを使用する事後推定を参照してください。

• PosteriorMethod が 'qp' の場合、二次計画法を使用して最小二乗問題を解決することでマルチクラス事後確率が推定されます。このオプションを使用するには Optimization Toolbox™ ライセンスが必要です。詳細は、二次計画法を使用する事後推定を参照してください。

例: 'PosteriorMethod','qp'

'Verbose' — 詳細レベル

0 (既定値) | 1

詳細レベル。'Verbose' と 0 または 1 から構成されるコンマ区切りのペアとして指定します。Verbose は、コマンド ウィンドウに表示される診断メッセージの量を制御します。

Verbose が 0 の場合、診断メッセージは表示されません。それ以外の場合は、診断メッセージが表示されます。

例: 'Verbose',1

データ型: single | double

出力引数

Label — 交差検証予測クラス ラベル

categorical 配列 | 文字配列 | logical 行列 | 数値行列 | 文字ベクトルの cell 配列

交差検証予測クラス ラベル。categorical 配列、文字配列、logical 行列、数値行列、または文字ベクトルの cell 配列として返されます。

ほとんどの場合 Label は、CVMdl の作成に使用した、観測されたクラス ラベル (Y) と同じデータ型の n 行 L 列の配列になります。(string 配列は文字ベクトルの cell 配列として扱われます)。 n は予測子データ (X) 内の観測値の個数、L は交差検証済み ECOC モデルを構成する線形分類モデル内の正則化強度の個数です。つまり Label(i,j) は、正則化強度が CVMdl.Trained{1}.BinaryLearners{1}.Lambda(j) である線形分類モデルの ECOC モデルを使用した、観測値 i の予測クラス ラベルです。

Y が文字配列で L > 1 の場合、Label はクラス ラベルのセル 配列になります。

符号を反転した平均バイナリ損失 (NegLoss) が最大であるクラス、つまり平均バイナリ損失が最小であるクラスに対応する予測ラベルが割り当てられます。

NegLoss — 符号を反転した交差検証平均バイナリ損失

数値配列

符号を反転した交差検証平均バイナリ損失。n x K x L の数値行列または配列として返されます。K は学習データ内の異なるクラスの数で、列は CVMdl.ClassNames 内のクラスに対応します。n と L については、Label を参照してください。NegLoss(i,k,j) は、正則化強度が CVMdl.Trained{1}.BinaryLoss{1}.Lambda(j) である線形分類モデルを使用して観測値 i をクラス k に分類する平均バイナリ損失の符号を反転した値です。

PBScore — 交差検証陽性クラス スコア

数値配列

交差検証陽性クラス スコア。n x B x L の数値配列として返されます。B は交差検証済みの ECOC モデル内のバイナリ学習器の数で、列は CVMdl.Trained{1}.BinaryLearners 内のバイナリ学習器に対応します。n と L については、Label を参照してください。PBScore(i,b,j) は、正則化強度が CVMdl.Trained{1}.BinaryLearners{1}.Lambda(j) である線形分類モデルを使用して観測値 i を陽性クラスに分類するためのバイナリ学習器 b の陽性クラス スコアです。

コーディング行列が分割全体で変化する (つまり、コーディング スキームが sparserandom または denserandom である) 場合、PBScore は空 ([]) になります。

Posterior — 交差検証事後クラス確率

数値配列

交差検証事後クラス確率。n x K x L の数値配列として返されます。次元の定義については、NegLoss を参照してください。Posterior(i,k,j) は、正則化強度が CVMdl.Trained{1}.BinaryLearners{1}.Lambda(j) である線形分類モデルを使用して観測値 i をクラス k に分類する事後確率です。

事後確率を返すには、CVMdl.Trained{1}.BinaryLearner{1}.Learner が 'logistic' でなければなりません。

例

k 分割交差検証ラベルの予測

NLP のデータセットを読み込みます。

load nlpdata

X は予測子データのスパース行列、Y はクラス ラベルの categorical ベクトルです。

線形分類モデルから構成されている ECOC モデルを交差検証します。

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl は ClassificationPartitionedLinearECOC モデルです。既定では、10 分割交差検証が実行されます。

fitcecoc で分割の学習に使用されなかった観測値のラベルを予測します。

label = kfoldPredict(CVMdl);

CVMdl 内の正則化強度は 1 つなので、label は予測の列ベクトルになり、行数は X 内の観測値数と同じになります。

混同行列を作成します。

ConfusionTrain = confusionmat(Y,label)

ConfusionTrain = 13×13

        2488         107           0           2          10          26           2         218           2          30           3          16           0
          97        3892           2          18          13          21           2         305           1          34           1         115           1
           1           7        1143          19           6           2           0         104           0          45           5           2           4
           1           9          16         939           7           1           0          81           1          11           2           3           0
           8          13           6          15         988           1           0          45           0          22           0           4           1
          22          28           0           0           0        2051           1          61           1          11           0           3           0
          15          22           1           6           5          21        2244          96           3          37           4           9           4
          39         140          55          44          27          21          21        4537           0          55           3          49           7
           0           0           0           2           0           2           0           2        1544           2           1           1           0
          19          30          80           5          24           8           1          47           1        2434           0           8           2
      ⋮

CVMdl.ClassNames

ans = 13x1 categorical array
     comm 
     dsp 
     ecoder 
     fixedpoint 
     hdlcoder 
     phased 
     physmod 
     simulink 
     stats 
     supportpkg 
     symbolic 
     vision 
     xpc 

行は真のクラスに、列は予測されたクラスに対応します。各次元は CVMdl.ClassNames 内の順序に対応します。

カスタム バイナリ損失の指定

NLP のデータセットを読み込みます。予測子データを転置します。

load nlpdata
X = X';

簡単にするため、'simulink'、'dsp'、'comm' のいずれでもない Y の観測値すべてに対して 'others' というラベルを使用します。

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

SpaRSA を使用して目的関数を最適化するように指定する線形分類モデル テンプレートを作成します。

t = templateLinear('Solver','sparsa');

5 分割の交差検証を使用して、線形分類モデルから構成されている ECOC モデルを交差検証します。予測子の観測値が列に対応することを指定します。

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns');
CMdl1 = CVMdl.Trained{1}

CMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6x1 cell}
      CodingMatrix: [4x6 double]


  Properties, Methods

CVMdl は ClassificationPartitionedLinearECOC モデルです。このモデルに含まれている Trained プロパティは、各分割の学習セットを使用して学習を行った CompactClassificationECOC モデルが格納されている 5 行 1 列の cell 配列です。

既定の設定では、ECOC モデルを構成する線形分類モデルは SVM を使用します。SVM スコアは観測から判定境界までの符号付き距離です。したがって、定義域は です。以下のようなカスタム バイナリ損失関数を作成します。

• 各学習器の符号化設計行列 (M) と陽性クラスの分類スコア (s) を各観測値のバイナリ損失にマッピングする

• 線形損失を使用する

• 中央値を使用してバイナリ学習器の損失を集計する

バイナリ損失関数用に独立した関数を作成し、MATLAB® パスに保存できます。あるいは、無名バイナリ損失関数を指定できます。

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

交差検証ラベルを予測し、クラスごとのバイナリ損失の中央値を推定します。10 分割外の観測値が無作為なセットの場合、クラスごとに符号を反転したバイナリ損失の中央値を出力します。

[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL);

idx = randsample(numel(label),10);
table(Y(idx),label(idx),NegLoss(idx,1),NegLoss(idx,2),NegLoss(idx,3),...
    NegLoss(idx,4),'VariableNames',[{'True'};{'Predicted'};...
    categories(CVMdl.ClassNames)])

ans=10×6 table
      True      Predicted      comm         dsp       simulink    others 
    ________    _________    _________    ________    ________    _______

    others      others         -1.2319     -1.0488    0.048758     1.6175
    simulink    simulink       -16.407     -12.218      21.531     11.218
    dsp         dsp            -0.7387    -0.11534    -0.88466    -0.2613
    others      others         -0.1251     -0.8749    -0.99766    0.14517
    dsp         dsp             2.5867      6.4187     -3.5867    -4.4165
    others      others       -0.025358     -1.2287    -0.97464    0.19747
    others      others         -2.6725    -0.56708    -0.51092     2.7453
    others      others         -1.1605    -0.88321    -0.11679    0.43504
    others      others         -1.9511     -1.3175     0.24735    0.95111
    simulink    others          -7.848     -5.8203      4.8203     6.8457

符号が反転した最大損失に基づき、ラベルが予測されます。

事後クラス確率の推定

線形分類モデルから構成される ECOC モデルは、ロジスティック回帰学習器の場合のみ事後確率を返します。この例では Parallel Computing Toolbox™ と Optimization Toolbox™ が必要です。

NLP のデータセットを読み込み、カスタム バイナリ損失の指定 で説明されているようにデータを前処理します。

load nlpdata
X = X';
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

～ の範囲で対数間隔で配置された 5 個の正則化強度を作成します。

Lambda = logspace(-6,-0.5,5);

線形分類モデル テンプレートを作成します。このテンプレートでは、SpaRSA を使用して目的関数を最適化し、ロジスティック回帰学習器を使用するように指定します。

t = templateLinear('Solver','sparsa','Learner','logistic','Lambda',Lambda);

5 分割の交差検証を使用して、線形分類モデルから構成されている ECOC モデルを交差検証します。予測子の観測値が列に対応することと並列計算の使用を指定します。

rng(1); % For reproducibility
Options = statset('UseParallel',true);
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns',...
    'Options',Options);

Starting parallel pool (parpool) using the 'local' profile ...
connected to 6 workers.

交差検証事後クラス確率を予測します。並列計算の使用と、二次計画法を使用して事後確率を推定することを指定します。

[label,~,~,Posterior] = kfoldPredict(CVMdl,'Options',Options,...
    'PosteriorMethod','qp');
size(label)
label(3,4)
size(Posterior)
Posterior(3,:,4)

ans =

       31572           5


ans = 

  categorical

     others 


ans =

       31572           4           5


ans =

    0.0293    0.0373    0.1738    0.7596

5 つの正則化強度があるので、次のようになります。

• label は 31572 行 5 列の categorical 配列になります。label(3,4) は、観測値 3 について予測された交差検証済みラベルであり、正則化強度 Lambda(4) により学習をさせたモデルを使用しています。

• Posterior は 31572 x 4 x 5 の行列になります。Posterior(3,:,4) は、正則化強度 Lambda(4) により学習をさせたモデルを使用して推定された観測値 3 の事後クラス確率すべてのベクトルです。2 番目の次元の順序は CVMdl.ClassNames に対応します。ランダムな 10 個の事後クラス確率の集合を表示します。

Lambda(4) を使用して学習をさせたモデルについて、交差検証ラベルおよび事後確率の無作為標本を表示します。

idx = randsample(size(label,1),10);
table(Y(idx),label(idx,4),Posterior(idx,1,4),Posterior(idx,2,4),...
    Posterior(idx,3,4),Posterior(idx,4,4),...
    'VariableNames',[{'True'};{'Predicted'};categories(CVMdl.ClassNames)])

ans =

  10×6 table

      True      Predicted       comm          dsp        simulink     others  
    ________    _________    __________    __________    ________    _________

    others      others         0.030309      0.022454     0.10401      0.84323
    simulink    simulink     3.5104e-05    4.3154e-05     0.99877    0.0011543
    dsp         others          0.15837       0.25784     0.18567      0.39811
    others      others         0.093212      0.063752     0.12927      0.71376
    dsp         dsp           0.0057401       0.89678    0.014939     0.082538
    others      others         0.085715      0.054451    0.083765      0.77607
    others      others        0.0061121     0.0057884     0.02409      0.96401
    others      others         0.066741      0.074103       0.168      0.69115
    others      others          0.05236      0.025631     0.13245      0.78956
    simulink    simulink     0.00039812    0.00045575     0.73724       0.2619

詳細

バイナリ損失

"バイナリ損失" は、バイナリ学習器がどの程度の精度で観測値をクラスに分類するかを判断する、クラスと分類スコアの関数です。

以下のように仮定します。

• m_kj は符号化設計行列 M の要素 (k,j)、つまりバイナリ学習器 j のクラス k に対応するコード。

• s_j は観測値に対するバイナリ学習器 j のスコア。

• g はバイナリ損失関数。

• $$\widehat{k}$$ は観測値の予測クラス。

"損失に基づく復号化" [Escalera 他] では、バイナリ学習器全体のバイナリ損失の和が最小になるクラスにより、観測値の予測クラスが決まります。つまり、次のようになります。

$$\widehat{k}=\underset{k}{\text{argmin}}{\displaystyle \sum _{j=1}^L\left|m_{kj}\right|g}(m_{kj},s_j).$$

"損失に重みを付けた復号化" [Escalera 他] では、バイナリ学習器全体のバイナリ損失の平均が最小になるクラスにより、観測値の予測クラスが決まります。つまり、次のようになります。

$$\widehat{k}=\underset{k}{\text{argmin}}\frac{{\displaystyle \sum _{j=1}^L\left|m_{kj}\right|g}(m_{kj},s_j)}{{\displaystyle \sum }_{j=1}^L\left|m_{kj}\right|}.$$

Allwein 他によると、すべてのクラスで損失値が同じ動的範囲に収まるので、損失に重みを付けた復号化では分類精度が向上します。

次の表は、サポートされる損失関数をまとめています。ここで、y_j は (集合 {–1,1,0} の) 特定のバイナリ学習器のクラス ラベルです。s_j は観測値 j および g(y_j,s_j) のスコアです。

値	説明	スコア領域	g(yj,sj)
'binodeviance'	二項分布からの逸脱度	(–∞,∞)	log[1 + exp(–2yjsj)]/[2log(2)]
'exponential'	指数	(–∞,∞)	exp(–yjsj)/2
'hamming'	ハミング	[0,1] または (–∞,∞)	[1 – sign(yjsj)]/2
'hinge'	ヒンジ	(–∞,∞)	max(0,1 – yjsj)/2
'linear'	線形	(–∞,∞)	(1 – yjsj)/2
'logit'	ロジスティック	(–∞,∞)	log[1 + exp(–yjsj)]/[2log(2)]
'quadratic'	2 次	[0,1]	[1 – yj(2sj – 1)]2/2

バイナリ損失は、y_j = 0 のときに損失が 0.5 になるように正規化され、バイナリ学習器の平均を使用して集計されます。[Allwein 他]

ECOC 分類器の全体的な性能の尺度である全体の分類損失 (オブジェクト関数 loss および predict の名前と値のペアの引数 'LossFun' により指定) とバイナリ損失を混同しないでください。

アルゴリズム

• カルバック・ライブラー ダイバージェンスを最小化するか、二次計画法を使用することにより、クラス事後確率を推定できます。以下の事後推定アルゴリズムに関する説明では、次のように仮定します。

  • m_kj は符号化設計行列 M の要素 (k,j) です。

  • I はインジケーター関数です。

  • $${\widehat{p}}_k$$ は、ある観測値のクラス k (k = 1、...、K) に対するクラス事後確率の推定値です。

  • r_j はバイナリ学習器 j の陽性クラス事後確率です。つまり、r_j は、学習データが与えられる場合、バイナリ学習器 j が観測値を陽性クラスに分類する確率です。

カルバック・ライブラー ダイバージェンスを使用する事後推定

既定では、カルバック・ライブラー ダイバージェンスは最小化され、クラス事後確率が推定されます。予測された陽性クラス事後確率と観測された陽性クラス事後確率の間のカルバック・ライブラー ダイバージェンスは次のようになります。

$$\Delta (r,\widehat{r})={\displaystyle \sum _{j=1}^L{w}_j}\left[r_j\log \frac{r_j}{{\widehat{r}}_j}+\left(1-r_j\right)\log \frac{1-r_j}{1-{\widehat{r}}_j}\right],$$

ここで、$$w_j={\displaystyle \sum _{S_j}{w}_i^{\ast }}$$ はバイナリ学習器 j の重みです。

• S_j は、バイナリ学習器 j が学習する一連の観測値のインデックスです。

• $$w_i^{\ast }$$ は、観測値 i の重みです。

ダイバージェンスは反復して最小化されます。最初のステップとして、クラス事後確率の初期値 $${\widehat{p}}_k^{(0)};k=1,\mathrm{...},K$$ を選択します。

• 'NumKLIterations' を指定しない場合、次に説明する確定的な初期値のセット両方が使用され、Δ を最小化する初期値のセットを使用します。

  • $${\widehat{p}}_k^{(0)}=1/K;k=1,\mathrm{...},K.$$

  • $${\widehat{p}}_k^{(0)};k=1,\mathrm{...},K$$ は、次の連立方程式の解です。

    $$M_{01}{\widehat{p}}^{(0)}=r,$$

    ここで、M₀₁ はすべての m_kj = -1 を 0 に置き換えた M、r は L 個のバイナリ学習器によって返された陽性クラス事後確率のベクトルです [Dietterich 他]。lsqnonneg を使いシステムを解きます。

• 'NumKLIterations',c を指定した場合 (c は自然数)、$${\widehat{p}}_k^{(0)};k=1,\mathrm{...},K$$ は次のように選択され、Δ を最小化するものが使用されます。

  • 先述の確定的な初期値のセットの両方が選択されます。

  • rand を使用して長さ K のベクトル c を無作為に生成し、各ベクトルの合計が 1 になるように正規化します。

反復 t では、以下の手順が実行されます。

1. $${\widehat{r}}_j^{(t)}=\frac{{\displaystyle \sum _{k=1}^K{\widehat{p}}_k^{(t)}}I(m_{kj}=+1)}{{\displaystyle \sum _{k=1}^K{\widehat{p}}_k^{(t)}}I(m_{kj}=+1\cup m_{kj}=-1)}.$$

   を計算します。

2. 次の式を使用して、次のクラスの事後確率を推定します。

   $${\widehat{p}}_k^{(t+1)}={\widehat{p}}_k^{(t)}\frac{{\displaystyle \sum _{j=1}^L{w}_j}\left[r_{j}I\left(m_{kj}=+1\right)+\left(1-r_j\right)I\left(m_{kj}=-1\right)\right]}{{\displaystyle \sum _{j=1}^L{w}_j}\left[{\widehat{r}}_j^{(t)}I\left(m_{kj}=+1\right)+\left(1-{\widehat{r}}_j^{(t)}\right)I\left(m_{kj}=-1\right)\right]}.$$

3. 合計が 1 になるように $${\widehat{p}}_k^{(t+1)};k=1,\mathrm{...},K$$ を正規化します。

4. 収束を確認します。

詳細については、[Hastie 他] および [Zadrozny] を参照してください。

二次計画法を使用する事後推定

二次計画法を使用する事後確率には、Optimization Toolbox ライセンスが必要です。この方法を使用して観測値の事後確率を推定するため、以下の手順が実行されます。

1. バイナリ学習器 j = 1、...、L の陽性クラス事後確率 r_j を推定します。

2. r_j と $${\widehat{p}}_k$$ の関係を使用して [Wu 他]、次の値を最小化します。

   $${\displaystyle \sum }_{j=1}^L{\left[-r_j{\displaystyle \sum _{k=1}^K{\widehat{p}}_k}I\left(m_{kj}=-1\right)+\left(1-r_j\right){\displaystyle \sum _{k=1}^K{\widehat{p}}_k}I\left(m_{kj}=+1\right)\right]}^2$$

   これは、次の制限を適用して $${\widehat{p}}_k$$ に関して行います。

   $$\begin{array}{l}0\le {\widehat{p}}_k\le 1\\ {\displaystyle \sum _k{\widehat{p}}_k}=1.\end{array}$$

   最小化には quadprog が使用されます。

参照

[1] Allwein, E., R. Schapire, and Y. Singer. “Reducing multiclass to binary: A unifying approach for margin classifiers.” Journal of Machine Learning Research. Vol. 1, 2000, pp. 113–141.

[2] Dietterich, T., and G. Bakiri. “Solving Multiclass Learning Problems Via Error-Correcting Output Codes.” Journal of Artificial Intelligence Research. Vol. 2, 1995, pp. 263–286.

[3] Escalera, S., O. Pujol, and P. Radeva. “On the decoding process in ternary error-correcting output codes.” IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 32, Issue 7, 2010, pp. 120–134.

[4] Escalera, S., O. Pujol, and P. Radeva. “Separability of ternary codes for sparse designs of error-correcting output codes.” Pattern Recogn. Vol. 30, Issue 3, 2009, pp. 285–297.

[5] Hastie, T., and R. Tibshirani. “Classification by Pairwise Coupling.” Annals of Statistics. Vol. 26, Issue 2, 1998, pp. 451–471.

[6] Wu, T. F., C. J. Lin, and R. Weng. “Probability Estimates for Multi-Class Classification by Pairwise Coupling.” Journal of Machine Learning Research. Vol. 5, 2004, pp. 975–1005.

[7] Zadrozny, B. “Reducing Multiclass to Binary by Coupling Probability Estimates.” NIPS 2001: Proceedings of Advances in Neural Information Processing Systems 14, 2001, pp. 1041–1048.

拡張機能

自動並列サポート

Parallel Computing Toolbox™ を使用して自動的に並列計算を実行することで、コードを高速化します。

並列実行するには、'UseParallel' オプションを true に設定します。

statset を使用してオプション構造体の 'UseParallel' フィールドを true に設定し、この関数を呼び出すときに名前と値のペアの引数 'Options' を指定します。

たとえば、次のようにします。'Options',statset('UseParallel',true)

詳細については、名前と値のペアの引数 'Options' を参照してください。

参考

ClassificationECOC | ClassificationLinear | ClassificationPartitionedLinearECOC | confusionmat | fitcecoc | perfcurve | predict | statset | testcholdout

トピック

• Statistics and Machine Learning Toolbox を使用した並列計算の基本操作
• 並列統計計算での再現性
• Statistics and Machine Learning Toolbox での並列計算の概要

R2016a で導入