ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

ClassificationECOC クラス

スーパークラス: CompactClassificationECOC

サポート ベクター マシンまたはその他の分類器向けのマルチクラス モデル

説明

ClassificationECOC は、サポート ベクター マシン (SVM) などの複数のバイナリ分類器への低減による、マルチクラス学習向けの誤り訂正出力符号 (ECOC) 分類器です。fitcecoc および学習データを使用し、ClassificationECOC 分類器に学習させます。

学習した ClassificationECOC 分類器は学習データ、パラメーター値、事前確率およびコーディング行列を格納します。これらの分類器は以下に使用できます。

  • 再代入予測の推定。詳細は、resubPredictを参照してください。

  • 新しいデータのラベルまたは事後確率の予測。詳細は、predictを参照してください。

構築

ClassificationECOC オブジェクトの作成には fitcecoc を使用します。

プロパティ

すべて展開する

学習させたバイナリ学習器。モデル オブジェクトの cell ベクトルとして指定します。BinaryLearners には Y のクラスと同じ数の要素があります。

BinaryLearner{j} の学習は、CodingMatrix(:,j) によって指定されるバイナリ問題に従って行われます。たとえば、SVM 学習器を使用したマルチクラス学習では、BinaryLearners の各要素は CompactClassificationSVM 分類器です。

データ型: cell

バイナリ学習器の損失関数。損失関数名を表す文字ベクトルを指定します。

異なる損失関数を使用するバイナリ学習器によって学習させる場合、BinaryLoss'hamming' に設定されます。潜在的な精度を上げるには、予測または損失を計算する場合に、predict または lossBinaryLoss 名前と値のペアの引数を使用して、既定の設定と異なるバイナリ損失関数を設定します。

データ型: char

バイナリ学習器クラス ラベル。数値行列として指定します。BinaryYNumObservations 行 L 列の行列で、L はバイナリ学習器 (size(CodingMatrix,2)) 数です。

BinaryY の要素は -10 または 1 で、値は二分法によるクラス割り当てに対応します。次の表に、学習器 j が観測値 kBinaryY(k,j) の値に対応する二分法によるクラスに割り当てる方法を示します。

二分法によるクラス割り当て
–1学習器 j は、観測値 k を陰性クラスに割り当てます。
0学習の前に、学習器 j は観測値 k をデータセットから削除します。
1学習器 j は、観測値 k を陽性クラスに割り当てます。

データ型: double

カテゴリカル予測子のインデックス。正の整数のベクトルを指定します。CategoricalPredictors には、カテゴリカル予測子が含まれている予測子データの列に対応するインデックス値を格納します。どの予測子もカテゴリカルではない場合、このプロパティは空 ([]) になります。

データ型: single | double

学習で使用する一意なクラス ラベル。categorical 配列、文字配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列を指定します。ClassNames のデータ型はクラス ラベル Y と同じです。(string 配列は文字ベクトルの cell 配列として扱われます)。 ClassNames はクラスの順序も決定します。

データ型: categorical | char | logical | single | double | cell

バイナリ学習器のクラス割り当て符号。数値行列を指定します。CodingMatrix は K 行 L 列の行列で、K はクラスの個数、L はバイナリ学習器の個数です。

CodingMatrix の要素は -10 または 1 で、値は二分法によるクラス割り当てに対応します。次の表に、CodingMatrix(i,j) の意味、つまりクラス i の観測値に学習器 j が割り当てるクラスを示します。

二分法によるクラス割り当て
–1学習器 j は、クラス i の観測値を陰性クラスに割り当てます。
0学習の前に、学習器 j はクラス i の観測値をデータセットから削除します。
1学習器 j は、クラス i の観測値を陽性クラスに割り当てます。

データ型: double | single | int8 | int16 | int32 | int64

符号化設計名。文字ベクトルを指定します。詳細は、符号化設計を参照してください。

データ型: char

このプロパティは読み取り専用です。

誤分類のコスト。正方数値行列として指定します。Cost には K 個の行および列が含まれ、K はクラスの数です。

Cost(i,j) は、真のクラスが i である点をクラス j に分類するコストです。Cost の行と列の順序は、ClassNames のクラスの順序に対応します。

fitcecoc は、異なるタイプのバイナリ学習器に異なる誤分類のコストを組み込みます。

データ型: double

展開された予測子名。文字ベクトルの cell 配列として格納されます。

モデルがカテゴリカル変数用のエンコーディングを使用している場合、ExpandedPredictorNames には展開された変数を表す名前が格納されます。それ以外の場合、ExpandedPredictorNamesPredictorNames と同じです。

データ型: cell

ハイパーパラメーターの交差検証最適化の説明。BayesianOptimization オブジェクト、またはハイパーパラメーターおよび関連する値が含まれているテーブルとして格納されます。作成時に名前と値のペア OptimizeHyperparameters が空ではない場合、これは空ではありません。値は、作成時の名前と値のペア HyperparameterOptimizationOptions の設定によって決まります。

  • 'bayesopt' (既定) — BayesianOptimization クラスのオブジェクト

  • 'gridsearch' または 'randomsearch' — 使用したハイパーパラメーター、観測された目的関数の値(交差検証損失)、および最低 (最良) から最高 (最悪) までの観測値の順位が格納されているテーブル

データ型: テーブル

バイナリ学習器の重み。数値行ベクトルとして指定します。LeanerWeights の長さはバイナリ学習器 (size(CodingMatrix,2)) の数と同じです。

LearnerWeights(j) はバイナリ学習器 j が分類器に学習させるのに使用した観測の重みの和です。

LearnerWeights を使用し、カルバック・ライブラー ダイバージェンスの最小化により事後確率をあてはめます。

データ型: double | single

ECOC 分類器の学習に使用するパラメーター値 (名前と値のペアの引数の値など)。オブジェクトとして指定します。ModelParameters には推定されたパラメーターは格納されません。

ModelParameters のプロパティにはドット表記でアクセスします。たとえば、Mdl.ModelParameters.BinaryLearner を使用して、バイナリ学習器のパラメーターを含むテンプレートをリストします。

学習データに含まれている観測値の数。正の数値スカラーを指定します。

データ型: double

予測子データ X に現れる順序で並んでいる予測子名。文字ベクトルの cell 配列を指定します。PredictorNames の長さは、X の列数と同じです。

データ型: cell

このプロパティは読み取り専用です。

クラスの事前確率。Prior の要素数は ClassNames 内のクラス数と同じであり、要素の順序は ClassNames の要素に対応します。

fitcecoc は、異なるタイプのバイナリ学習器に異なる誤分類のコストを組み込みます。

データ型: double

応答変数名。文字ベクトルを指定します。

データ型: char

予測されたスコアに適用するスコア変換関数。関数名または関数ハンドルを指定します。

スコア変換関数を function などに変更するには、ドット表記を使用します。

  • 組み込み関数の場合、function を表の値に置き換えて次のコードを入力します。

    Mdl.ScoreTransform = 'function';

    説明
    'doublelogit'1/(1 + e–2x)
    'invlogit'log(x / (1–x))
    'ismax'最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを 0 に設定します。
    'logit'1/(1 + e–x)
    'none' または 'identity'x (変換なし)
    'sign'x < 0 のとき –1
    x = 0 のとき 0
    x > 0 のとき 1
    'symmetric'2x – 1
    'symmetricismax'最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを –1 に設定します。
    'symmetriclogit'2/(1 + e–x) – 1

  • MATLAB® 関数やユーザー定義関数の場合は、関数ハンドルを入力します。

    Mdl.ScoreTransform = @function;

    function は、行列 (元のスコア) を受け入れて同じサイズの行列 (変換したスコア) を返さなければなりません。

データ型: char | 関数ハンドル

分類器の学習に用いる観測値の重み。数値ベクトルとして指定します。W の要素の数は NumObservations です。

学習に使用する重みは正規化され nansum(W)1 になります。

データ型: single | double

分類器の学習に用いる標準化されていない予測子データ。数値行列として指定します。XNumObservations 行 p 列の行列で、p は予測子の数です。

X の各行は 1 つの観測値に対応し、各列は 1 つの変数に対応します。

データ型: single | double

分類器の学習に使用された、観測されたクラス ラベル。categorical 配列、文字配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列を指定します。Y の要素数は NumObservations で、データ型は fitcecoc の入力引数 Y と同じになります。(string 配列は文字ベクトルの cell 配列として扱われます)。

Y の各行は、Tbl または X の対応する行の観測された分類を表します。

メソッド

compactコンパクトなマルチクラスの誤り訂正出力符号モデル
crossvalマルチクラス誤り訂正出力符号モデルの交差検証
resubEdgeマルチクラス誤り訂正出力符号モデルの再代入による分類エッジ
resubLossマルチクラス誤り訂正出力符号モデルの再代入による分類損失
resubMarginマルチクラス誤り訂正出力符号モデルの再代入による分類マージン
resubPredictマルチクラス誤り訂正出力符号モデルの再代入応答の予測

継承メソッド

discardSupportVectors線形サポート ベクター マシン バイナリ学習器のサポート ベクターを破棄
edgeマルチクラス誤り訂正出力符号モデルの分類エッジ
lossマルチクラス誤り訂正出力符号モデルの分類損失
marginマルチクラス誤り訂正出力符号モデルの分類マージン
predictマルチクラス誤り訂正出力符号モデルの使用によるラベルの予測
selectModels正則化された線形分類モデルのサブセットの選択

コピーのセマンティクス

値。値のクラスがコピー操作に与える影響については、オブジェクトのコピー (MATLAB)を参照してください。

すべて折りたたむ

ECOC (誤り訂正出力符号) マルチクラス モデルを SVM (サポート ベクター マシン) バイナリ学習器を使用して学習させます。

フィッシャーのアヤメのデータセットを読み込みます。

load fisheriris
X = meas;
Y = species;

ECOC マルチクラス モデルを既定のオプションを使用して学習させます。

Mdl = fitcecoc(X,Y)
Mdl = 
  ClassificationECOC
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'setosa'  'versicolor'  'virginica'}
           ScoreTransform: 'none'
           BinaryLearners: {3x1 cell}
               CodingName: 'onevsone'


  Properties, Methods

MdlClassificationECOC モデルです。既定では、fitcecoc は SVM バイナリ学習器および 1 対 1 符号化設計を使用します。ドット表記を使用して Mdl プロパティにアクセスできます。

符号化設計行列を表示します。

Mdl.ClassNames
ans = 3x1 cell array
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

CodingMat = Mdl.CodingMatrix
CodingMat = 3×3

     1     1     0
    -1     0     1
     0    -1    -1

1 対 1 符号化設計を 3 つのクラスで使用すると、3 つのバイナリ学習器が得られます。CodingMat の列は学習器に、行はクラスに対応します。クラス順は Mdl.ClassNames の順序に一致します。たとえば、CodingMat(:,1)[1; -1; 0] であり、'setosa' または 'versicolor' として分類されるすべての観測値を使用して最初の SVM バイナリ学習器が学習を行うことを示します。'setosa'1 に対応しているため陽性クラスであり、'versicolor'-1 に対応しているため陰性クラスです。

各バイナリ学習器にセルのインデックス付けおよびドット表記を使用してアクセスすることができます。

Mdl.BinaryLearners{1}                % The first binary learner
ans = 
  classreg.learning.classif.CompactClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: [-1 1]
           ScoreTransform: 'none'
                     Beta: [4x1 double]
                     Bias: 1.4505
         KernelParameters: [1x1 struct]


  Properties, Methods

標本内分類誤差を計算します。

isLoss = resubLoss(Mdl)
isLoss = 0.0067

分類誤差が小さくても、分類器に過適合が発生する場合があります。crossval を使用して分類器の交差検証を実行できます。

ドット表記を使用して、バイナリ学習器のプロパティ (推定パラメーターなど) にアクセスします。

フィッシャーのアヤメのデータセットを読み込みます。花弁の寸法を予測子として使用します。

load fisheriris
X = meas(:,3:4);
Y = species;

SVM バイナリ学習器および既定の符号化設計 (1 対 1) を使用して ECOC 分類器に学習をさせます。予測子を標準化し、サポート ベクターを保存します。

t = templateSVM('Standardize',1,'SaveSupportVectors',true);
predictorNames = {'petalLength','petalWidth'};
responseName = 'irisSpecies';
classNames = {'setosa','versicolor','virginica'}; % Specify class order
Mdl = fitcecoc(X,Y,'Learners',t,'ResponseName',responseName,...
    'PredictorNames',predictorNames,'ClassNames',classNames)
Mdl = 
  ClassificationECOC
           PredictorNames: {'petalLength'  'petalWidth'}
             ResponseName: 'irisSpecies'
    CategoricalPredictors: []
               ClassNames: {'setosa'  'versicolor'  'virginica'}
           ScoreTransform: 'none'
           BinaryLearners: {3x1 cell}
               CodingName: 'onevsone'


  Properties, Methods

tは SVM 分類のオプションを含むテンプレート オブジェクトです。MethodSaveSupportVectorsStandardizeData および Type を除き、すべてのプロパティは空 ([]) です。関数 fitcecoc は、空のプロパティについて既定値を使用します。MdlClassificationECOC 分類器です。ドット表記を使用して Mdl のプロパティにアクセスできます。

クラス名および符号化設計行列を表示します。

Mdl.ClassNames
ans = 3x1 cell array
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

Mdl.CodingMatrix
ans = 3×3

     1     1     0
    -1     0     1
     0    -1    -1

L = size(Mdl.CodingMatrix,2); % Number of SVMs

列は SVM バイナリ学習器に対応し、行は個々のクラスに対応します。行の順序は Mdl のプロパティ ClassNames の順序に対応します。各列について:

  • 1 は、対応するクラスの観測を正のグループのメンバーとして用いて fitcecoc が SVM に学習させたことを示します。

  • -1 は、対応するクラスにおける観測値を負のグループのメンバーとして使用し、fitcecoc が SVM を学習させたことを示します。

  • 0 は、対応するクラスの観測値を SVM が使用しなかったことを表します。

たとえば、1 番目の SVM で fitcecoc はすべての観測値を 'setosa' または 'versicolor' に割り当てており、'virginica' には割り当てていません。

セルの添字およびドット表記を使用して、SVM のプロパティにアクセスできます。各 SVM の標準化されたサポート ベクターを保存します。サポート ベクターを非標準化します。

sv = cell(L,1); % Preallocate for support vector indices
for j = 1:L
    SVM = Mdl.BinaryLearners{j};
    sv{j} = SVM.SupportVectors;
    sv{j} = bsxfun(@plus,bsxfun(@times,sv{j},SVM.Sigma),SVM.Mu);
end

sv は、SVM の非標準化されたサポート ベクターを含む行列の cell 配列です。

データをプロットし、サポート ベクターを特定します。

figure
h = zeros(3 + L,1); % Preallocate for handles
h(1:3) = gscatter(X(:,1),X(:,2),Y);
hold on
markers = {'ko','ro','bo'};
for j = 1:L
    svs = sv{j};
    h(j + 3) = plot(svs(:,1),svs(:,2),markers{j},...
        'MarkerSize',10 + (j - 1)*3);
end
title('Fisher''s Iris -- ECOC Support Vectors')
xlabel(predictorNames{1})
ylabel(predictorNames{2})
legend(h,[classNames,{'Support vectors - SVM 1',...
    'Support vectors - SVM 2','Support vectors - SVM 3'}],...
    'Location','Best')
hold off

Mdl を以下に渡すことができます。

  • predict。新しい観測値を分類します。

  • resubLoss。標本内分類誤差を推定します。

  • crossval。10 分割交差検証を実行します。

フィッシャーのアヤメのデータセットを読み込みます。予測子データ X と応答データ Y を指定します。

load fisheriris
X = meas;
Y = species;
rng(1); % For reproducibility

SVM テンプレートを作成し、予測子を標準化します。

t = templateSVM('Standardize',1)
t = 
Fit template for classification SVM.

                     Alpha: [0x1 double]
             BoxConstraint: []
                 CacheSize: []
             CachingMethod: ''
                ClipAlphas: []
    DeltaGradientTolerance: []
                   Epsilon: []
              GapTolerance: []
              KKTTolerance: []
            IterationLimit: []
            KernelFunction: ''
               KernelScale: []
              KernelOffset: []
     KernelPolynomialOrder: []
                  NumPrint: []
                        Nu: []
           OutlierFraction: []
          RemoveDuplicates: []
           ShrinkagePeriod: []
                    Solver: ''
           StandardizeData: 1
        SaveSupportVectors: []
            VerbosityLevel: []
                   Version: 2
                    Method: 'SVM'
                      Type: 'classification'

t は SVM テンプレートです。テンプレート オブジェクトのプロパティは、ほとんとが空です。ECOC 分類器に学習をさせると、該当するプロパティが既定値に設定されます。

ECOC 分類器に学習をさせ、クラスの順序を指定します。

Mdl = fitcecoc(X,Y,'Learners',t,...
    'ClassNames',{'setosa','versicolor','virginica'});

MdlClassificationECOC 分類器です。ドット表記を使用してプロパティにアクセスできます。

10 分割交差検証を使用して Mdl を交差検証します。

CVMdl = crossval(Mdl);

CVMdlClassificationPartitionedECOC 交差検証 ECOC 分類器です。

分類誤差を推定します。

loss = kfoldLoss(CVMdl)
loss = 0.0400

分類誤差は 4% であり、ECOC 分類器がかなり良好に一般化を行うことを示しています。

詳細

すべて展開する

アルゴリズム

すべて展開する

代替方法

これらの代替アルゴリズムを使用してマルチクラス モデルに学習させることができます。

参照

[1] Fürnkranz, Johannes. “Round Robin Classification.” Journal of Machine Learning Research, Vol. 2, 2002, pp. 721–747.

[2] Escalera, S., O. Pujol, and P. Radeva. “Separability of ternary codes for sparse designs of error-correcting output codes.” Pattern Recognition Letters, Vol. 30, Issue 3, 2009, pp. 285–297.

拡張機能

R2014b で導入