resubLoss

アンサンブル分類モデルの再代入分類損失

構文

L = resubLoss(ens)

L = resubLoss(ens,Name=Value)

説明

L = resubLoss(ens) は、ens.X に格納されている学習データと ens.Y に格納されている対応する真のクラス ラベルを使用して、学習済みアンサンブル分類モデル ens の再代入による分類損失 L を返します。resubLoss で既定で使用される損失は、fitcensemble での ens の作成に使用されたデータについて計算された損失です。

分類損失 (L) は再代入の品質に対する尺度です。解釈は損失関数 (LossFun) と加重スキームによって異なりますが、一般に、優れた分類器の方が分類損失値が小さくなります。LossFun の既定値は "classiferror" (10 進数の誤分類率) です。

L = resubLoss(ens,Name=Value) では、1 つ以上の名前と値の引数を使用して追加オプションを指定します。たとえば、損失関数、損失の計算に使用する弱学習器のインデックス、出力の集約レベルを指定できます。

例

学習観測値の分類誤差の推定

フィッシャーのアヤメのデータ セットを読み込みます。

load fisheriris

AdaBoostM2 を使用して、100 本の決定木によるアンサンブル分類に学習をさせます。弱学習器として木の切り株を指定します。

t = templateTree(MaxNumSplits=1);
ens = fitcensemble(meas,species,Method="AdaBoostM2",Learners=t);

再代入分類誤差を推定します。

loss = resubLoss(ens)

loss = 
0.0333

入力引数

ens — アンサンブル分類モデル

ClassificationEnsemble モデル オブジェクト | ClassificationBaggedEnsemble モデル オブジェクト

アンサンブル分類モデル。fitcensemble で学習させた ClassificationEnsemble または ClassificationBaggedEnsemble モデル オブジェクトとして指定します。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: resubLoss(ens,LossFun="exponential",UseParallel=true) は、指数の損失関数を使用し、計算を並列に実行するように指定します。

Learners — 弱学習器のインデックス

[1:ens.NumTrained] (既定値) | 正の整数のベクトル

resubLoss で使用するアンサンブル内の弱学習器のインデックス。範囲 [1:ens.NumTrained] の正の整数のベクトルとして指定します。既定では、この関数はすべての学習器を使用します。

例: Learners=[1 2 4]

データ型: single | double

LossFun — 損失関数

"classiferror" (既定値) | "binodeviance" | "classifcost" | "exponential" | "hinge" | "logit" | "mincost" | "quadratic" | 関数ハンドル

損失関数。組み込みの損失関数名または関数ハンドルを指定します。

次の表に、組み込みの損失関数の値を示します。

値	説明
"binodeviance"	二項分布からの逸脱度
"classifcost"	観測誤分類コスト
"classiferror"	10 進数の誤分類率
"exponential"	指数損失
"hinge"	ヒンジ損失
"logit"	ロジスティック損失
"mincost"	最小予測誤分類コスト (事後確率である分類スコアの場合)
"quadratic"	二次損失

• "mincost" は、事後確率である分類スコアに適しています。

• 既定の設定では、バギング アンサンブルと部分空間アンサンブルは事後確率を返します (ens.Method が "Bag" または "Subspace")。

• アンサンブル法が "AdaBoostM1"、"AdaBoostM2"、"GentleBoost"、または "LogitBoost" の場合に事後確率を分類スコアとして使用するには、次のように入力してダブルロジットのスコア変換を指定する必要があります。

  ens.ScoreTransform = "doublelogit";

• 他のすべてのアンサンブル法の場合、事後確率は分類スコアとしてサポートされていません。

関数ハンドル表記を使用して独自の関数を指定できます。n は X 内の観測値の個数、K は異なるクラスの個数 (numel(ens.ClassNames)、ens は入力モデル) であるとします。使用する関数のシグネチャは次のようになっていなければなりません。

lossvalue = lossfun(C,S,W,Cost)

ここで

• 出力引数 lossvalue はスカラーです。

• 関数名 (lossfun) を指定します。

• C は n 行 K 列の logical 行列であり、対応する観測値が属するクラスを各行が示します。列の順序は ens.ClassNames のクラスの順序に対応します。

  各行について観測値 p がクラス q に属する場合は C(p,q) = 1 を設定することにより、C を作成します。行 p の他のすべての要素を 0 に設定します。

• S は、分類スコアの n 行 K 列の行列です。列の順序は ens.ClassNames のクラスの順序に対応します。S は分類スコアの行列で、predict の出力と同様です。

• W は、観測値の重みの n 行 1 列の数値ベクトルです。W を渡す場合、重みは合計が 1 になるように正規化されます。

• Cost は、誤分類コストの、K 行 K 列の数値行列です。たとえば、Cost = ones(K) - eye(K) は、正しい分類のコストとして 0 を、誤分類のコストとして 1 を指定します。

損失関数の詳細については、分類損失を参照してください。

例: LossFun="binodeviance"

例: LossFun=@Lossfun

データ型: char | string | function_handle

Mode — 出力の集約レベル

"ensemble" (既定値) | "individual" | "cumulative"

出力の集約レベル。"ensemble"、"individual"、または "cumulative" として指定します。

値	説明
"ensemble"	出力は、アンサンブル全体に対する損失を表すスカラー値になります。
"individual"	出力は、学習させた学習器ごとに 1 つの要素をもつベクトルになります。
"cumulative"	出力は、学習器の入力リストから学習器 1:J を使用して要素 J が取得されたベクトルになります。

例: Mode="individual"

データ型: char | string

UseParallel — 並列実行のフラグ

false または 0 (既定値) | true または 1

並列実行のフラグ。数値または logical の 1 (true) または 0 (false) として指定します。UseParallel=true を指定した場合、関数 resubLoss は parfor を使用して for ループの反復を実行します。Parallel Computing Toolbox™ がある場合、ループが並列に実行されます。

例: UseParallel=true

データ型: logical

詳細

分類損失

"分類損失" 関数は分類モデルの予測誤差を評価します。複数のモデルで同じタイプの損失を比較した場合、損失が低い方が予測モデルとして優れていることになります。

以下のシナリオを考えます。

• L は加重平均分類損失です。

• n は標本サイズです。

• バイナリ分類は以下です。

  • y_j は観測されたクラス ラベルです。陰性クラスを示す -1 または陽性クラスを示す 1 (あるいは、ClassNames プロパティの最初のクラスを示す -1 または 2 番目のクラスを示す 1) を使用して符号化されます。

  • f(X_j) は予測子データ X の観測値 (行) j に対する陽性クラスの分類スコアです。

  • m_j = y_jf(X_j) は、y_j に対応するクラスに観測値 j を分類する分類スコアです。正の値の m_j は正しい分類を示しており、平均損失に対する寄与は大きくありません。負の値の m_j は正しくない分類を示しており、平均損失に大きく寄与します。

• マルチクラス分類 (つまり、K ≥ 3) をサポートするアルゴリズムの場合、次のようになります。

  • y_j^* は、K - 1 個の 0 と、観測された真のクラス y_j に対応する位置の 1 から構成されるベクトルです。たとえば、2 番目の観測値の真のクラスが 3 番目のクラスであり K = 4 の場合、y₂^* = [0 0 1 0]′ になります。クラスの順序は入力モデルの ClassNames プロパティ内の順序に対応します。

  • f(X_j) は予測子データ X の観測値 j に対するクラス スコアのベクトルで、長さは K です。スコアの順序は入力モデルの ClassNames プロパティ内のクラスの順序に対応します。

  • m_j = y_j^*′f(X_j).したがって m_j は、観測された真のクラスについてモデルが予測するスカラー分類スコアです。

• 観測値 j の重みは w_j です。観測値の重みは、その合計が Prior プロパティに格納された対応するクラスの事前確率になるように正規化されます。そのため、次のようになります。

  $${\displaystyle \sum _{j=1}^n{w}_j}=1.$$

この状況では、名前と値の引数 LossFun を使用して指定できる、サポートされる損失関数は次の表のようになります。

損失関数	LossFun の値	式
二項分布からの逸脱度	"binodeviance"	$$L={\displaystyle \sum _{j=1}^n{w}_j\log \left\{1+\exp \left[-2m_j\right]\right\}}.$$
観測誤分類コスト	"classifcost"	$$L={\displaystyle \sum _{j=1}^n{w}_j}{c}_{y_j{\widehat{y}}_j},$$ ここで、$${\widehat{y}}_j$$ はスコアが最大のクラスに対応するクラス ラベル、$$c_{y_j{\widehat{y}}_j}$$ は真のクラスが yj である場合に観測値をクラス $${\widehat{y}}_j$$ に分類するユーザー指定のコストです。
10 進数の誤分類率	"classiferror"	$$L={\displaystyle \sum _{j=1}^n{w}_j}I\left\{{\widehat{y}}_j\ne y_j\right\},$$ ここで、I{·} はインジケーター関数です。
クロスエントロピー損失	"crossentropy"	"crossentropy" はニューラル ネットワーク モデルのみに適しています。 加重クロスエントロピー損失は次となります。 $$L=-{\displaystyle \sum _{j=1}^n\frac{{\tilde{w}}_j\log (m_j)}{Kn}},$$ ここで重み $${\tilde{w}}_j$$ は、合計が 1 ではなく n になるように正規化されます。
指数損失	"exponential"	$$L={\displaystyle \sum _{j=1}^n{w}_j\exp \left(-m_j\right)}.$$
ヒンジ損失	"hinge"	$$L={\displaystyle \sum }_{j=1}^n{w}_j\max \left\{0,1-m_j\right\}.$$
ロジスティック損失	"logit"	$$L={\displaystyle \sum _{j=1}^n{w}_j\log \left(1+\exp \left(-m_j\right)\right)}.$$
最小予測誤分類コスト	"mincost"	"mincost" は、分類スコアが事後確率の場合にのみ適しています。 重み付きの最小予測分類コストは、次の手順を観測値 j = 1、...、n について使用することにより計算されます。 観測値 Xj をクラス k に分類する予測誤分類コストを推定します。 $${\gamma }_{jk}={\left(f{\left(X_j\right)}^{\prime }C\right)}_k.$$ f(Xj) は観測値 Xj のクラス事後確率の列ベクトルです。C はモデルの Cost プロパティに格納されるコスト行列です。 最小予測誤分類コストに対応するクラス ラベルを観測値 j について予測します。 $${\widehat{y}}_j=\underset{k=1,\mathrm{...},K}{\text{argmin}}{\gamma }_{jk}.$$ C を使用して、予測を行うために必要なコスト (cj) を求めます。 最小予測誤分類コスト損失の加重平均は次となります。 $$L={\displaystyle \sum _{j=1}^n{w}_j{c}_j}.$$
二次損失	"quadratic"	$$L={\displaystyle \sum _{j=1}^n{w}_j{\left(1-m_j\right)}^2}.$$

既定のコスト行列 (正しい分類の場合の要素値は 0、誤った分類の場合の要素値は 1) を使用する場合、"classifcost"、"classiferror"、および "mincost" の損失の値は同じです。既定以外のコスト行列をもつモデルでは、ほとんどの場合は "classifcost" の損失と "mincost" の損失が等価になります。これらの損失が異なる値になる可能性があるのは、最大の事後確率をもつクラスへの予測と最小の予測コストをもつクラスへの予測が異なる場合です。"mincost" は分類スコアが事後確率の場合にしか適さないことに注意してください。

次の図では、1 つの観測値のスコア m に対する損失関数 ("classifcost"、"crossentropy"、および "mincost" を除く) を比較しています。いくつかの関数は、点 (0,1) を通過するように正規化されています。

拡張機能

自動並列サポート

Parallel Computing Toolbox™ を使用して自動的に並列計算を実行することで、コードを高速化します。

並列実行するには、この関数を呼び出すときに名前と値の引数 UseParallel を true に設定します。

並列計算の全般的な情報については、自動並列サポートを使用した MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

UseParallel は GPU 配列では使用できません。

GPU 配列

Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

使用上の注意事項および制限事項:

• UseParallel は GPU 配列では使用できません。

詳細は、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

バージョン履歴

R2011a で導入

R2023b: 予測子に欠損値がある観測値を再代入と交差検証の計算に使用

R2023b 以降では、次の分類モデルのオブジェクト関数において、予測子に欠損値がある観測値が再代入 ("resub") と交差検証 ("kfold") による分類エッジ、損失、マージン、および予測の計算でその一部として使用されます。

モデル タイプ	モデル オブジェクト	オブジェクト関数
判別分析分類モデル	ClassificationDiscriminant	resubEdge, resubLoss, resubMargin, resubPredict
	ClassificationPartitionedModel	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
分類用の判別分析学習器のアンサンブル	ClassificationEnsemble	resubEdge, resubLoss, resubMargin, resubPredict
	ClassificationPartitionedEnsemble	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
ガウス カーネル分類モデル	ClassificationPartitionedKernel	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
	ClassificationPartitionedKernelECOC	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
線形分類モデル	ClassificationPartitionedLinear	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
	ClassificationPartitionedLinearECOC	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
ニューラル ネットワーク分類モデル	ClassificationNeuralNetwork	resubEdge, resubLoss, resubMargin, resubPredict
	ClassificationPartitionedModel	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict
サポート ベクター マシン (SVM) 分類モデル	ClassificationSVM	resubEdge, resubLoss, resubMargin, resubPredict
	ClassificationPartitionedModel	kfoldEdge, kfoldLoss, kfoldMargin, kfoldPredict

以前のリリースでは、予測子に欠損値がある観測値は再代入と交差検証の計算で省略されていました。

R2022a: 既定以外のコスト行列をもつモデルに対して resubLoss で異なる値が返される

入力モデル オブジェクトに学習させるときに既定以外のコスト行列を指定すると、関数 resubLoss で以前のリリースとは異なる値が返されます。

関数 resubLoss は、W プロパティに格納された観測値の重みを使用します。さらに、名前と値の引数 LossFun を "classifcost" または "mincost" として指定した場合、関数は Cost プロパティに格納されたコスト行列を使用します。W プロパティと Cost プロパティの値を関数で使用する方法については変更されていません。ただし、既定以外のコスト行列をもつモデルについて入力モデル オブジェクトに格納されるプロパティの値が変更されたため、関数から異なる値が返されることがあります。

プロパティの値の変更に関する詳細については、Cost プロパティにユーザー指定のコスト行列を格納を参照してください。

ソフトウェアでコスト行列、事前確率、および観測値の重みを以前のリリースと同じように扱う場合は、誤分類コスト行列に応じた事前確率と観測値の重みの調整の説明に従って、既定以外のコスト行列の事前確率と観測値の重みを調整します。その後、分類モデルに学習させるときに、調整後の事前確率と観測値の重みを名前と値の引数 Prior と Weights を使用して指定し、既定のコスト行列を使用します。

参考

resubEdge | resubMargin | resubPredict | resubLoss | ClassificationEnsemble | ClassificationBaggedEnsemble | fitcensemble