ClassificationPartitionedLinearECOC
名前空間: classreg.learning.partition
スーパークラス: ClassificationPartitionedModel
高次元データのマルチクラス分類用の交差検証済み線形誤り訂正出力符号モデル
説明
ClassificationPartitionedLinearECOC は、交差検証分割で学習を行った、線形分類モデルから構成される一連の誤り訂正出力符号 (ECOC) モデルです。kfold 関数 kfoldPredict、kfoldLoss、kfoldMargin、kfoldEdge を 1 つ以上使用する交差検証により、分類の品質を推定します。
すべての "kfold" メソッドでは、学習用データの観測値で学習したモデルを使用して、学習用データにはない観測値に対する応答を予測します。たとえば、データを 5 つに分割して交差検証を行うとします。この場合、各観測は 5 つのほぼ等しいサイズのグループに無作為に割り当てられます。"学習用分割" にはグループのうち 4 つ (すなわち、データの約 4/5) が含まれ、"テスト用分割" には残りのグループ (すなわち、データの約 1/5) が含まれます。この場合、交差検証は次のように進めます。
CVMdl.Trained{1}に保存されている最初のモデルは、後の 4 グループの観測値によって学習され、最初のグループの観測値を検証用に確保します。1 番目のグループと最後の 3 つのグループの観測値を使用して 2 番目のモデル (
CVMdl.Trained{2}に格納) に学習させます。2 番目のグループの観測値は、検証用に確保されます。3 番目、4 番目および 5 番目のモデルに対しても同様に続けられます。
kfoldPredict を呼び出して検証する場合、最初のモデルを使用してグループ 1 の観測に対する予測が計算され、2 番目のモデルにはグループ 2 が計算され、以降同様です。つまり、それぞれの観測値に対する応答は、その観測値ではなく学習したモデルによって推定されます。
メモ
ClassificationPartitionedLinearECOC モデル オブジェクトに予測子データ セットは格納されません。
構築
CVMdl = fitcecoc(X,Y,'Learners',t,Name,Value) は、次の場合に交差検証済みの線形 ECOC モデルを返します。
tが'Linear'であるか、templateLinearによって返されるテンプレート オブジェクトである。Nameが'CrossVal'、'CVPartition'、'Holdout'または'KFold'のいずれかである。
詳細は、fitcecocを参照してください。
プロパティ
メソッド
| kfoldEdge | 学習で使用しない観測値の分類エッジ |
| kfoldLoss | 学習で使用しない観測値の分類損失 |
| kfoldMargin | 学習で使用しない観測値の分類マージン |
| kfoldPredict | 学習で使用しない観測値のラベルの予測 |
コピーのセマンティクス
値。値のクラスがコピー操作に与える影響については、オブジェクトのコピーを参照してください。
例
NLP のデータ セットを読み込みます。
load nlpdataX は予測子データのスパース行列、Y はクラス ラベルの categorical ベクトルです。
あるドキュメンテーション Web ページがどの MATLAB® ツールボックスによるものであるかをページの単語数に基づいて識別できるマルチクラスの線形分類モデルを交差検証します。
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','linear','CrossVal','on')
CVMdl =
ClassificationPartitionedLinearECOC
CrossValidatedModel: 'LinearECOC'
ResponseName: 'Y'
NumObservations: 31572
KFold: 10
Partition: [1×1 cvpartition]
ClassNames: [comm dsp ecoder fixedpoint hdlcoder phased physmod simulink stats supportpkg symbolic vision xpc]
ScoreTransform: 'none'
Properties, Methods
CVMdl は、ClassificationPartitionedLinearECOC 交差検証済みモデルです。既定の設定では fitcecoc は 10 分割の交差検証を実装するので、CVMdl.Trained には 10 個の CompactClassificationECOC モデルが含まれている 10 行 1 列の cell ベクトルが格納されており、これらのモデルにはバイナリ線形分類モデルから構成される ECOC モデルの学習を各分割について行った結果が格納されています。
CVMdl を kfoldPredict に渡して分割外観測値のラベルを推定し、kfoldLoss に渡して汎化誤差を推定します。
oofLabels = kfoldPredict(CVMdl); ge = kfoldLoss(CVMdl)
ge = 0.0958
推定された汎化誤差は、誤分類観測値の約 10% です。
汎化誤差を改善するには、他のソルバー (LBFGS など) を試します。線形分類モデルから構成される ECOC モデルに学習をさせるときの既定オプションを変更するには、templateLinear を使用して線形分類モデル テンプレートを作成し、このテンプレートを fitcecoc に渡します。
ロジスティック回帰学習器を使用する線形分類モデルから構成される ECOC モデルに適した LASSO ペナルティの強度を決定するため、5 分割の交差検証を実装します。
NLP のデータ セットを読み込みます。
load nlpdataX は予測子データのスパース行列、Y はクラス ラベルの categorical ベクトルです。
簡単にするため、'simulink'、'dsp'、'comm' のいずれでもない Y の観測値すべてに対して 'others' というラベルを使用します。
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';～ の範囲で対数間隔で配置された 11 個の正則化強度を作成します。
Lambda = logspace(-7,-2,11);
ロジスティック回帰学習器を使用するように指定する線形分類モデル テンプレートを作成し、Lambda の強度をもつ LASSO ペナルティを使用し、SpaRSA を使用して学習させ、目的関数の勾配の許容誤差を 1e-8 に下げます。
t = templateLinear('Learner','logistic','Solver','sparsa',... 'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);
モデルを交差検証します。実行速度を向上させるため、予測子データを転置し、観測値が列単位であることを指定します。
X = X'; rng(10); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5);
CVMdl は ClassificationPartitionedLinearECOC モデルです。
CVMdl および格納されている各モデルを分析します。
numECOCModels = numel(CVMdl.Trained)
numECOCModels = 5
ECOCMdl1 = CVMdl.Trained{1}ECOCMdl1 =
CompactClassificationECOC
ResponseName: 'Y'
ClassNames: [comm dsp simulink others]
ScoreTransform: 'none'
BinaryLearners: {6×1 cell}
CodingMatrix: [4×6 double]
Properties, Methods
numCLModels = numel(ECOCMdl1.BinaryLearners)
numCLModels = 6
CLMdl1 = ECOCMdl1.BinaryLearners{1}CLMdl1 =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [-1 1]
ScoreTransform: 'logit'
Beta: [34023×11 double]
Bias: [-0.3169 -0.3169 -0.3168 -0.3168 -0.3168 -0.3167 -0.1725 -0.0805 -0.1762 -0.3450 -0.5174]
Lambda: [1.0000e-07 3.1623e-07 1.0000e-06 3.1623e-06 1.0000e-05 3.1623e-05 1.0000e-04 3.1623e-04 1.0000e-03 0.0032 0.0100]
Learner: 'logistic'
Properties, Methods
fitcecoc は 5 分割の交差検証を実装するので、各分割について学習させる CompactClassificationECOC モデルから構成される 5 行 1 列の cell 配列が CVMdl に格納されます。各 CompactClassificationECOC モデルの BinaryLearners プロパティには ClassificationLinear モデルが格納されます。各コンパクト ECOC モデル内の ClassificationLinear モデルの数は、それぞれのラベルの数と符号化設計によって決まります。Lambda は正則化強度のシーケンスなので、CLMdl1 はそれぞれが Lambda の各正則化強度に対応する 11 個のモデルであると考えることができます。
各正則化強度について 5 分割分類誤差の平均をプロットすることにより、モデルがどの程度一般化を行うかを判断します。グリッド全体で汎化誤差を最小化する正則化強度を特定します。
ce = kfoldLoss(CVMdl); figure; plot(log10(Lambda),log10(ce)) [~,minCEIdx] = min(ce); minLambda = Lambda(minCEIdx); hold on plot(log10(minLambda),log10(ce(minCEIdx)),'ro'); ylabel('log_{10} 5-fold classification error') xlabel('log_{10} Lambda') legend('MSE','Min classification error') hold off
データ セット全体を使用して線形分類モデルから構成される ECOC モデルに学習をさせ、最小の正則化強度を指定します。
t = templateLinear('Learner','logistic','Solver','sparsa',... 'Regularization','lasso','Lambda',minLambda,'GradientTolerance',1e-8); MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');
新しい観測値のラベルを推定するには、MdlFinal と新しいデータを predict に渡します。
