kfoldLoss

交差検証済みカーネル分類モデルの分類損失

構文

loss = kfoldLoss(CVMdl)

loss = kfoldLoss(CVMdl,Name,Value)

説明

loss = kfoldLoss(CVMdl) は、交差検証済みのバイナリカーネルモデル (ClassificationPartitionedKernel) CVMdl によって取得した分類損失を返します。kfoldLoss は、すべての分割について、学習分割観測値に対して学習をさせたモデルを使用して、検証分割観測値の分類損失を計算します。

既定では、kfoldLoss は分類誤差を返します。

例

loss = kfoldLoss(CVMdl,Name,Value) は、1 つ以上の名前と値のペアの引数で指定された追加オプションを使用して、分類損失を返します。たとえば、分類損失関数、分割数、または集約レベルを指定します。

例

すべて折りたたむ

k 分割交差検証の分類誤差の推定

ライブスクリプトを開く

ionosphere データセットを読み込みます。このデータセットには、レーダー反射についての 34 個の予測子と、不良 ('b') または良好 ('g') というラベルが付いた 351 個の二項反応が含まれています。

load ionosphere

このデータを使用して、バイナリカーネル分類モデルを交差検証します。

CVMdl = fitckernel(X,Y,'Crossval','on')

CVMdl = 
  ClassificationPartitionedKernel
    CrossValidatedModel: 'Kernel'
           ResponseName: 'Y'
        NumObservations: 351
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'b'  'g'}
         ScoreTransform: 'none'

CVMdl は ClassificationPartitionedKernel モデルです。既定では、10 分割交差検証が実行されます。異なる分割数を指定するには、'Crossval' ではなく名前と値のペアの引数 'KFold' を指定します。

交差検証分類損失を推定します。既定では、分類誤差が計算されます。

loss = kfoldLoss(CVMdl)

loss = 0.0940

または、名前と値のペアの引数 'Mode','individual' を kfoldLoss で指定することにより、分割ごとの分類誤差を取得できます。

カスタムな分類損失の指定

ライブスクリプトを開く

load ionosphere

このデータを使用して、バイナリカーネル分類モデルを交差検証します。

CVMdl = fitckernel(X,Y,'Crossval','on')

CVMdl = 
  ClassificationPartitionedKernel
    CrossValidatedModel: 'Kernel'
           ResponseName: 'Y'
        NumObservations: 351
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'b'  'g'}
         ScoreTransform: 'none'

次の線形損失を評価する無名関数を作成します。

$L = \frac{\sum_{j} - w_{j} y_{j} f_{j}}{\sum_{j} w_{j}} .$

$w_{j}$ は観測値 j の重み、 $y_{j}$ は応答 j (陰性クラスの場合は –1、それ以外の場合は 1)、 $f_{j}$ は観測値 j の生の分類スコアです。

linearloss = @(C,S,W,Cost)sum(-W.*sum(S.*C,2))/sum(W);

カスタム損失関数は特定の形式で記述しなければなりません。カスタム損失関数の記述に関するルールについては、名前と値のペアの引数 'LossFun' を参照してください。

線形損失関数を使用して交差検証分類損失を推定します。

loss = kfoldLoss(CVMdl,'LossFun',linearloss)

loss = -0.7792

入力引数

すべて折りたたむ

`CVMdl` — 交差検証済みのバイナリカーネル分類モデル
`ClassificationPartitionedKernel` モデルオブジェクト

交差検証済みのバイナリカーネル分類モデル。ClassificationPartitionedKernel モデルオブジェクトを指定します。ClassificationPartitionedKernel モデルは、fitckernel を使用し、交差検証の名前と値のペアの引数のいずれかを指定することにより作成できます。

推定値を取得するため、kfoldLoss はカーネル分類モデルの交差検証に使用したものと同じデータ (X および Y) を適用します。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで Name は引数名、Value は対応する値です。名前と値の引数は他の引数の後ろにする必要がありますが、ペアの順序は関係ありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: kfoldLoss(CVMdl,'Folds',[1 3 5]) は、分類損失の計算に 1 番目、3 番目および 5 番目の分割のみを使用することを指定します。

`Folds` — 予測の分割インデックス
`1:CVMdl.KFold` (既定値) | 正の整数の数値ベクトル

予測の分割インデックス。'Folds' および正の整数の数値ベクトルで構成されるコンマ区切りのペアとして指定します。Folds の要素は 1 から CVMdl.KFold の範囲でなければなりません。

予測用の Folds で指定された分割のみが使用されます。

例: 'Folds',[1 4 10]

データ型: single | double

`LossFun` — 損失関数
`'classiferror'` (既定値) | `'binodeviance'` | `'classifcost'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | 関数ハンドル

損失関数。'LossFun' と組み込みの損失関数名または関数ハンドルから構成されるコンマ区切りのペアとして指定します。

次の表は、使用できる損失関数の一覧です。対応する値を使用していずれかを指定します。

値	説明
`"binodeviance"`	二項分布からの逸脱度
`"classifcost"`	観測誤分類コスト
`"classiferror"`	10 進数の誤分類率
`"exponential"`	指数損失
`"hinge"`	ヒンジ損失
`"logit"`	ロジスティック損失
`"mincost"`	最小予測誤分類コスト (事後確率である分類スコアの場合)
`"quadratic"`	二次損失

'mincost' は、事後確率である分類スコアに適しています。カーネル分類モデルの場合、既定の設定ではロジスティック回帰学習器は事後確率を分類スコアとして返しますが、SVM 学習器はそうではありません (kfoldPredict を参照)。

関数ハンドル表記を使用して、独自の関数を指定します。
n は X 内の観測値の個数、K は異なるクラスの個数 (numel(CVMdl.ClassNames)、CVMdl は入力モデル) であると仮定します。使用する関数のシグネチャは次のようになっていなければなりません。
```
lossvalue = lossfun(C,S,W,Cost)
```
- 出力引数 lossvalue はスカラーです。
- 関数名 (lossfun) を指定します。
- C は n 行 K 列の logical 行列であり、対応する観測値が属するクラスを各行が示します。列の順序は CVMdl.ClassNames のクラスの順序に対応します。
  各行について観測値 p がクラス q に属する場合は C(p,q) = 1 を設定することにより、C を作成します。行 p の他のすべての要素を 0 に設定します。
- S は、分類スコアの n 行 K 列の行列です。列の順序は CVMdl.ClassNames のクラスの順序に対応します。S は分類スコアの行列で、kfoldPredict の出力と同様です。
- W は、観測値の重みの n 行 1 列の数値ベクトルです。W を渡す場合、重みは合計が 1 になるように正規化されます。
- Cost は、誤分類コストの、K 行 K 列の数値行列です。たとえば、Cost = ones(K) – eye(K) は、正しい分類のコストとして 0 を、誤分類のコストとして 1 を指定します。

例: 'LossFun',@lossfun

データ型: char | string | function_handle

`Mode` — 出力の集約レベル
`'average'` (既定値) | `'individual'`

出力の集約レベル。'Mode' と 'average' または 'individual' から構成されるコンマ区切りのペアとして指定します。

次の表は値を説明します。

値	説明
`'average'`	出力は、すべての分割の平均を表すスカラー値です。
`'individual'`	出力は、分割ごとに 1 つずつの値が含まれている長さ k のベクトルです。k は分割数です。

例: 'Mode','individual'

出力引数

すべて折りたたむ

`loss` — 分類損失
数値スカラー | 数値列ベクトル

分類損失。数値スカラーまたは数値列ベクトルとして返されます。

Mode が 'average' である場合、loss はすべての分割の平均分類損失です。それ以外の場合、loss は各分割の分類損失が含まれている k 行 1 列の数値列ベクトルです。k は分割数です。

詳細

すべて折りたたむ

分類損失

"分類損失" 関数は分類モデルの予測誤差を評価します。複数のモデルで同じタイプの損失を比較した場合、損失が低い方が予測モデルとして優れていることになります。

以下のシナリオを考えます。

L は加重平均分類損失です。
n は標本サイズです。

y_j は観測されたクラスラベルです。陰性クラスを示す -1 または陽性クラスを示す 1 (あるいは、ClassNames プロパティの最初のクラスを示す -1 または 2 番目のクラスを示す 1) を使用して符号化されます。
f(X_j) は予測子データ X の観測値 (行) j に対する陽性クラスの分類スコアです。
m_j = y_jf(X_j) は、y_j に対応するクラスに観測値 j を分類する分類スコアです。正の値の m_j は正しい分類を示しており、平均損失に対する寄与は大きくありません。負の値の m_j は正しくない分類を示しており、平均損失に大きく寄与します。

観測値 j の重みは w_j です。観測値の重みは、その合計が Prior プロパティに格納された対応するクラスの事前確率になるように正規化されます。そのため、次のようになります。

$\sum_{j = 1}^{n} w_{j} = 1.$

この状況では、名前と値の引数 LossFun を使用して指定できる、サポートされる損失関数は次の表のようになります。

損失関数	`LossFun` の値	式
二項分布からの逸脱度	`"binodeviance"`	$L = \sum_{j = 1}^{n} w_{j} \log {1 + \exp [- 2 m_{j}]} .$
観測誤分類コスト	`"classifcost"`	$L = \sum_{j = 1}^{n} w_{j} c_{y_{j} {\hat{y}}_{j}},$ ここで、 ${\hat{y}}_{j}$ はスコアが最大のクラスに対応するクラスラベル、 $c_{y_{j} {\hat{y}}_{j}}$ は真のクラスが y_j である場合に観測値をクラス ${\hat{y}}_{j}$ に分類するユーザー指定のコストです。
10 進数の誤分類率	`"classiferror"`	$L = \sum_{j = 1}^{n} w_{j} I {{\hat{y}}_{j} \neq y_{j}},$ ここで、I{·} はインジケーター関数です。
クロスエントロピー損失	`"crossentropy"`	`"crossentropy"` はニューラルネットワークモデルのみに適しています。加重クロスエントロピー損失は次となります。 $L = - \sum_{j = 1}^{n} \frac{{\tilde{w}}_{j} \log (m_{j})}{K n},$ ここで重み ${\tilde{w}}_{j}$ は、合計が 1 ではなく n になるように正規化されます。
指数損失	`"exponential"`	$L = \sum_{j = 1}^{n} w_{j} \exp (- m_{j}) .$
ヒンジ損失	`"hinge"`	$L = \sum_{j = 1}^{n} w_{j} \max {0, 1 - m_{j}} .$
ロジット損失	`"logit"`	$L = \sum_{j = 1}^{n} w_{j} \log (1 + \exp (- m_{j})) .$
最小予測誤分類コスト	`"mincost"`	`"mincost"` は、分類スコアが事後確率の場合にのみ適しています。重み付きの最小予測分類コストは、次の手順を観測値 j = 1、...、n について使用することにより計算されます。観測値 X_j をクラス k に分類する予測誤分類コストを推定します。 $γ_{j k} = {(f {(X_{j})}^{'} C)}_{k} .$ f(X_j) は観測値 X_j のクラス事後確率の列ベクトルです。C はモデルの `Cost` プロパティに格納されるコスト行列です。最小予測誤分類コストに対応するクラスラベルを観測値 j について予測します。 ${\hat{y}}_{j} = \underset{k = 1, ..., K}{argmin} γ_{j k} .$ C を使用して、予測を行うために必要なコスト (c_j) を求めます。最小予測誤分類コスト損失の加重平均は次となります。 $L = \sum_{j = 1}^{n} w_{j} c_{j} .$
二次損失	`"quadratic"`	$L = \sum_{j = 1}^{n} w_{j} {(1 - m_{j})}^{2} .$

既定のコスト行列 (正しい分類の場合の要素値は 0、誤った分類の場合の要素値は 1) を使用する場合、"classifcost"、"classiferror"、および "mincost" の損失の値は同じです。既定以外のコスト行列をもつモデルでは、ほとんどの場合は "classifcost" の損失と "mincost" の損失が等価になります。これらの損失が異なる値になる可能性があるのは、最大の事後確率をもつクラスへの予測と最小の予測コストをもつクラスへの予測が異なる場合です。"mincost" は分類スコアが事後確率の場合にしか適さないことに注意してください。

次の図では、1 つの観測値のスコア m に対する損失関数 ("classifcost"、"crossentropy"、および "mincost" を除く) を比較しています。いくつかの関数は、点 (0,1) を通過するように正規化されています。

バージョン履歴

R2018b で導入

すべて展開する

R2023b: 予測子に欠損値がある観測値を再代入と交差検証の計算に使用

R2023b 以降では、次の分類モデルのオブジェクト関数において、予測子に欠損値がある観測値が再代入 ("resub") と交差検証 ("kfold") による分類エッジ、損失、マージン、および予測の計算でその一部として使用されます。

モデルタイプ	モデルオブジェクト	オブジェクト関数
判別分析分類モデル	`ClassificationDiscriminant`	`resubEdge`, `resubLoss`, `resubMargin`, `resubPredict`
判別分析分類モデル	`ClassificationPartitionedModel`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
分類用の判別分析学習器のアンサンブル	`ClassificationEnsemble`	`resubEdge`, `resubLoss`, `resubMargin`, `resubPredict`
分類用の判別分析学習器のアンサンブル	`ClassificationPartitionedEnsemble`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
ガウスカーネル分類モデル	`ClassificationPartitionedKernel`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
ガウスカーネル分類モデル	`ClassificationPartitionedKernelECOC`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
線形分類モデル	`ClassificationPartitionedLinear`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
線形分類モデル	`ClassificationPartitionedLinearECOC`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
ニューラルネットワーク分類モデル	`ClassificationNeuralNetwork`	`resubEdge`, `resubLoss`, `resubMargin`, `resubPredict`
ニューラルネットワーク分類モデル	`ClassificationPartitionedModel`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`
サポートベクターマシン (SVM) 分類モデル	`ClassificationSVM`	`resubEdge`, `resubLoss`, `resubMargin`, `resubPredict`
サポートベクターマシン (SVM) 分類モデル	`ClassificationPartitionedModel`	`kfoldEdge`, `kfoldLoss`, `kfoldMargin`, `kfoldPredict`

以前のリリースでは、予測子に欠損値がある観測値は再代入と交差検証の計算で省略されていました。

R2022a: 既定以外のコスト行列をもつモデルに対して `kfoldLoss` で異なる値が返される

入力モデルオブジェクトに学習させるときに既定以外のコスト行列を指定すると、関数 kfoldLoss で以前のリリースとは異なる値が返されます。

関数 kfoldLoss は、W プロパティに格納された観測値の重みを使用します。さらに、名前と値の引数 LossFun を "classifcost" または "mincost" として指定した場合、関数は Cost プロパティに格納されたコスト行列を使用します。W プロパティと Cost プロパティの値を関数で使用する方法については変更されていません。ただし、既定以外のコスト行列をもつモデルについて入力モデルオブジェクトに格納されるプロパティの値が変更されたため、関数から異なる値が返されることがあります。

プロパティの値の変更に関する詳細については、Cost プロパティにユーザー指定のコスト行列を格納を参照してください。

ソフトウェアでコスト行列、事前確率、および観測値の重みを以前のリリースと同じように扱う場合は、誤分類コスト行列に応じた事前確率と観測値の重みの調整の説明に従って、既定以外のコスト行列の事前確率と観測値の重みを調整します。その後、分類モデルに学習させるときに、調整後の事前確率と観測値の重みを名前と値の引数 Prior と Weights を使用して指定し、既定のコスト行列を使用します。

参考

ClassificationPartitionedKernel | fitckernel

kfoldLoss

構文

説明

例

k 分割交差検証の分類誤差の推定

カスタムな分類損失の指定

入力引数

CVMdl — 交差検証済みのバイナリ カーネル分類モデル ClassificationPartitionedKernel モデル オブジェクト

名前と値の引数

Folds — 予測の分割インデックス 1:CVMdl.KFold (既定値) | 正の整数の数値ベクトル

LossFun — 損失関数 'classiferror' (既定値) | 'binodeviance' | 'classifcost' | 'exponential' | 'hinge' | 'logit' | 'mincost' | 'quadratic' | 関数ハンドル

Mode — 出力の集約レベル 'average' (既定値) | 'individual'

出力引数

loss — 分類損失 数値スカラー | 数値列ベクトル

詳細

分類損失

バージョン履歴

R2023b: 予測子に欠損値がある観測値を再代入と交差検証の計算に使用

R2022a: 既定以外のコスト行列をもつモデルに対して kfoldLoss で異なる値が返される

参考

`CVMdl` — 交差検証済みのバイナリカーネル分類モデル
`ClassificationPartitionedKernel` モデルオブジェクト

`Folds` — 予測の分割インデックス
`1:CVMdl.KFold` (既定値) | 正の整数の数値ベクトル

`LossFun` — 損失関数
`'classiferror'` (既定値) | `'binodeviance'` | `'classifcost'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | 関数ハンドル

`Mode` — 出力の集約レベル
`'average'` (既定値) | `'individual'`

`loss` — 分類損失
数値スカラー | 数値列ベクトル

R2022a: 既定以外のコスト行列をもつモデルに対して `kfoldLoss` で異なる値が返される