このページの内容は最新ではありません。最新版の英語を参照するには、ここをクリックします。

ClassificationSVM

1 クラスおよびバイナリ分類用のサポート ベクター マシン (SVM)

説明

ClassificationSVM は 1 クラスおよび 2 クラス学習用のサポート ベクター マシン (SVM) 分類器です。学習済みの ClassificationSVM 分類器には、学習データ、パラメーター値、事前確率、サポート ベクターおよびアルゴリズムの実装情報が格納されます。これらの分類器を使用して、スコアから事後確率に変換する関数の当てはめ (fitPosterior を参照) や新しいデータに対するラベルの予測 (predict を参照) などのタスクを実行できます。

作成

ClassificationSVM オブジェクトの作成には fitcsvm を使用します。

プロパティ

SVM のプロパティ

Alpha — 学習済み分類器の係数

数値ベクトル

この プロパティ は読み取り専用です。

学習済み分類器の係数。s 行 1 列の数値ベクトルを指定します。s は学習済み分類器に含まれているサポート ベクターの個数 (sum(Mdl.IsSupportVector)) です。

Alpha には、双対問題に対する学習済み分類器の係数、つまり推定したラグランジュ乗数が格納されます。fitcsvm の名前と値のペアの引数 RemoveDuplicates を使用して重複を削除した場合、サポート ベクターである重複する観測値の特定の集合に対して、集合全体に対応する 1 つの係数が Alpha に格納されます。つまり、MATLAB^® は、ある非ゼロ係数を重複集合内の 1 つの観測値によるものとし、係数 0 は集合内の他のすべての重複観測値によるものとします。

データ型: single | double

Beta — 線形予測子の係数

数値ベクトル

この プロパティ は読み取り専用です。

線形予測子の係数。数値ベクトルを指定します。Beta の長さは、モデルの学習に使用する予測子の個数と同じです。

MATLAB では、完全なダミー エンコードを使用して予測子データ内のカテゴリカル変数が拡張されます。つまり、MATLAB では各カテゴリカル変数の各レベルについて 1 つずつダミー変数が作成されます。Beta には、ダミー変数を含む各予測子変数について 1 つずつ値が格納されます。たとえば、3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数である場合、Beta は 5 つの値が含まれている数値ベクトルになります。

KernelParameters.Function が 'linear' である場合、観測値 x の分類スコアは次のようになります。

$$f\left(x\right)=\left(x/s\right)\prime \beta +b.$$

Mdl では、β、b および s がそれぞれ Beta、Bias および KernelParameters.Scale プロパティに格納されます。

分類スコアを手動で推定するには、はじめに、学習時に適用したすべての変換を予測子データに適用しなければなりません。具体的には、fitcsvm を使用するときに 'Standardize',true を指定した場合は、平均 Mdl.Mu と標準偏差 Mdl.Sigma を使用して予測子データを手動で標準化してから、結果を Mdl.KernelParameters.Scale 内のカーネル スケールで除算しなければなりません。

resubPredict や predict など、すべての SVM 関数で、必要な変換の適用は推定の前に行われます。

KernelParameters.Function が 'linear' ではない場合、Beta は空 ([]) になります。

データ型: single | double

Bias — バイアス項

スカラー

この プロパティ は読み取り専用です。

バイアス項。スカラーを指定します。

データ型: single | double

BoxConstraints — ボックス制約

数値ベクトル

この プロパティ は読み取り専用です。

ボックス制約。ボックス制約が含まれている n 行 1 列の数値ベクトルを指定します。n は学習データ内の観測値の個数 (NumObservations プロパティを参照) です。

fitcsvm の名前と値のペアの引数 RemoveDuplicates を使用して重複を削除した場合、重複する観測値の特定の集合に対して MATLAB はボックス制約を合計し、この合計が 1 つの観測値からのものと見なします。MATLAB は、0 のボックス制約が集合内の他のすべての観測値によるものと見なします。

データ型: single | double

CacheInfo — キャッシュ情報

構造体配列

この プロパティ は読み取り専用です。

キャッシュ情報。構造体配列を指定します。キャッシュ情報には、次の表に記載されているフィールドが含まれます。

フィールド	説明
サイズ	SVM 分類器に学習をさせるために予約されているキャッシュのサイズ (MB 単位)。詳細については、'CacheSize' を参照してください。
アルゴリズム	最適化時に使用されるキャッシュ アルゴリズム。現在、使用可能なキャッシュ アルゴリズムは Queue のみです。キャッシュ アルゴリズムは設定できません。

CacheInfo のフィールドを表示するには、ドット表記を使用します。たとえば、Mdl.CacheInfo.Size はキャッシュ サイズの値を表示します。

データ型: struct

IsSupportVector — サポート ベクターのインジケーター

logical ベクトル

この プロパティ は読み取り専用です。

サポート ベクターのインジケーター。予測子データ行列内の対応する観測値がサポート ベクターであるかどうかを示す n 行 1 列の logical ベクトルを指定します。n は学習データ内の観測値の個数 (NumObservations を参照) です。

fitcsvm の名前と値のペアの引数 RemoveDuplicates を使用して重複を削除した場合、サポート ベクターである重複する観測値の特定の集合に対して、IsSupportVector は 1 つの観測値のみにサポート ベクターであるというフラグを設定します。

データ型: logical

KernelParameters — カーネル パラメーター

構造体配列

この プロパティ は読み取り専用です。

カーネル パラメーター。構造体配列を指定します。カーネル パラメーター プロパティには、次の表に記載されているフィールドが含まれます。

フィールド	説明
関数	グラム行列の要素を計算するために使用するカーネル関数。詳細については、'KernelFunction' を参照してください。
スケール	モデルに学習させる予測子データのすべての要素をスケーリングするために使用するカーネル スケール パラメーター。詳細については、'KernelScale' を参照してください。

KernelParameters の値を表示するには、ドット表記を使用します。たとえば、Mdl.KernelParameters.Scale はカーネル スケール パラメーターの値を表示します。

KernelParameters は入力として使用され、値は変更されません。

データ型: struct

Nu — 1 クラス学習のパラメーター

正のスカラー

この プロパティ は読み取り専用です。

1 クラス学習のパラメーター ν。正のスカラーを指定します。

データ型: single | double

OutlierFraction — 外れ値の比率

数値スカラー

この プロパティ は読み取り専用です。

学習データに含まれている外れ値の比率。数値スカラーを指定します。

データ型: double

Solver — 最適化ルーチン

'ISDA' | 'L1QP' | 'SMO'

この プロパティ は読み取り専用です。

SVM 分類器の学習に使用する最適化ルーチン。'ISDA'、'L1QP'、または 'SMO' を指定します。詳細については、'Solver' を参照してください。

SupportVectorLabels — サポート ベクターのクラス ラベル

s 行 1 列の数値ベクトル

この プロパティ は読み取り専用です。

サポート ベクターのクラス ラベル。s 行 1 列の数値ベクトルを指定します。s は学習済み分類器に含まれているサポート ベクターの個数 (sum(Mdl.IsSupportVector)) です。

SupportVectorLabels の +1 という値は、対応するサポート ベクターが陽性クラス (ClassNames{2}) に含まれることを示します。–1 という値は、対応するサポート ベクターが陰性クラス (ClassNames{1}) に含まれていることを示します。

fitcsvm の名前と値のペアの引数 RemoveDuplicates を使用して重複を削除した場合、サポート ベクターである重複する観測値の特定の集合に対して、SupportVectorLabels には一意なサポート ベクターのラベルが 1 つ含まれます。

データ型: single | double

SupportVectors — サポート ベクター

s 行 p 列の数値行列

この プロパティ は読み取り専用です。

学習済み分類器内のサポート ベクター。s 行 p 列の数値行列を指定します。s は学習済み分類器内のサポート ベクターの個数 (sum(Mdl.IsSupportVector))、p は予測子データ内の予測子変数の個数です。

SupportVectors には、MATLAB でサポート ベクターと見なされる予測子データ X の行が格納されます。fitcsvm を使用して SVM 分類器に学習をさせるときに 'Standardize',true を指定した場合、SupportVectors には標準化された X の行が格納されます。

fitcsvm の名前と値のペアの引数 RemoveDuplicates を使用して重複を削除した場合、サポート ベクターである重複する観測値の特定の集合に対して、SupportVectors には一意なサポート ベクターが 1 つ含まれます。

データ型: single | double

他の分類のプロパティ

CategoricalPredictors — カテゴリカル予測子のインデックス

正の整数のベクトル | []

この プロパティ は読み取り専用です。

カテゴリカル予測子のインデックス。正の整数のベクトルとして指定します。CategoricalPredictors には、対応する予測子がカテゴリカルであることを示すインデックス値が格納されます。インデックス値の範囲は 1 ～ p です。p はモデルの学習に使用した予測子の数です。どの予測子もカテゴリカルではない場合、このプロパティは空 ([]) になります。

データ型: double

ClassNames — 一意のクラス ラベル

categorical 配列 | 文字配列 | logical ベクトル | 数値ベクトル | 文字ベクトルの cell 配列

この プロパティ は読み取り専用です。

学習で使用する一意なクラス ラベル。categorical 配列、文字配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列を指定します。ClassNames のデータ型はクラス ラベル Y と同じです。(string 配列は文字ベクトルの cell 配列として扱われます)。ClassNames はクラスの順序も決定します。

データ型: single | double | logical | char | cell | categorical

Cost — 誤分類のコスト

数値正方行列

この プロパティ は読み取り専用です。

誤分類のコスト。数値正方行列として指定します。

• 2 クラス学習の場合、Cost プロパティには、近似関数の名前と値の引数 Cost で指定された誤分類コスト行列が格納されます。行は真のクラスに、列は予測するクラスに対応します。つまり、Cost(i,j) は、真のクラスが i である場合に点をクラス j に分類するコストです。Cost の行と列の順序は、ClassNames のクラスの順序に対応します。

• 1 クラス学習では、Cost = 0 です。

データ型: double

ExpandedPredictorNames — 展開された予測子名

文字ベクトルの cell 配列

この プロパティ は読み取り専用です。

展開された予測子名。文字ベクトルの cell 配列を指定します。

モデルでカテゴリカル変数用にダミー変数のエンコードを使用している場合、ExpandedPredictorNames には展開された変数を表す名前が含まれます。それ以外の場合、ExpandedPredictorNames は PredictorNames と同じです。

データ型: cell

Gradient — 学習データの勾配の値

数値ベクトル

この プロパティ は読み取り専用です。

学習データの勾配の値。数値ベクトルを指定します。Gradient の長さは、観測値の個数 (NumObservations) と同じです。

データ型: single | double

ModelParameters — モデルの学習に使用するパラメーター

オブジェクト

この プロパティ は読み取り専用です。

ClassificationSVM モデルの学習に使用するパラメーター。オブジェクトを指定します。ModelParameters には、SVM 分類器の学習に使用する名前と値のペアの引数の値などのパラメーター値が格納されます。推定したパラメーターは ModelParameters に格納されません。

ModelParameters のプロパティにアクセスするには、ドット表記を使用します。たとえば、Alpha を推定するための初期値にアクセスするには、Mdl.ModelParameters.Alpha を使用します。

Mu — 予測子の平均

数値ベクトル | []

この プロパティ は読み取り専用です。

予測子の平均。数値ベクトルを指定します。fitcsvm を使用して SVM 分類器に学習させるときに 'Standardize',1 または 'Standardize',true を指定した場合、Mu の長さは予測子の数と等しくなります。

MATLAB では、ダミー変数を使用して予測子データ内のカテゴリカル変数が拡張されます。Mu には、ダミー変数を含む各予測子変数について 1 つずつ値が格納されます。ただし、カテゴリカル変数が含まれている列は MATLAB では標準化されません。

fitcsvm を使用して SVM 分類器に学習をさせるときに 'Standardize',false を設定した場合、Mu は空ベクトル ([]) です。

データ型: single | double

NumObservations — 観測値の数

数値スカラー

この プロパティ は読み取り専用です。

X および Y に格納されている学習データ内の観測値の個数。数値スカラーを指定します。

データ型: double

PredictorNames — 予測子変数名

文字ベクトルの cell 配列

この プロパティ は読み取り専用です。

予測子変数の名前。文字ベクトルの cell 配列を指定します。PredictorNames の要素の順序は、予測子名が学習データに現れる順序に対応します。

データ型: cell

Prior — 事前確率

数値ベクトル

この プロパティ は読み取り専用です。

各クラスの事前確率。数値ベクトルを指定します。

2 クラス学習の場合、コスト行列を指定すると、そのコスト行列で指定されているペナルティが組み込まれ、事前確率が更新されます。

• 2 クラス学習では、近似関数の名前と値の引数 Prior で指定された事前確率が確率の合計が 1 になるように正規化されます。Prior プロパティには正規化された事前確率が格納されます。Prior の要素の順序は Mdl.ClassNames の要素に対応します。

• 1 クラス学習では、Prior = 1 です。

データ型: single | double

ResponseName — 応答変数名

文字ベクトル

この プロパティ は読み取り専用です。

応答変数名。文字ベクトルを指定します。

データ型: char

RowsUsed — 格納されている元の学習データの行

logical ベクトル | []

この プロパティ は読み取り専用です。

モデルに格納されている元の学習データの行。logical ベクトルとして指定します。このプロパティは、X と Y にすべての行が格納される場合は空になります。

データ型: logical

ScoreTransform — スコア変換

文字ベクトル | 関数ハンドル

スコア変換。文字ベクトルまたは関数ハンドルを指定します。ScoreTransform は、組み込みの変換関数または予測した分類スコアを変換する関数のハンドルを表します。

スコア変換関数を function などに変更するには、ドット表記を使用します。

• 組み込み関数の場合は、文字ベクトルを入力します。

  Mdl.ScoreTransform = 'function';

  次の表は、使用可能な組み込み関数の一覧です。

  値	説明
  'doublelogit'	1/(1 + e–2x)
  'invlogit'	log(x / (1 – x))
  'ismax'	最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを 0 に設定する
  'logit'	1/(1 + e–x)
  'none' または 'identity'	x (変換なし)
  'sign'	x < 0 のとき –1 x = 0 のとき 0 x > 0 のとき 1
  'symmetric'	2x – 1
  'symmetricismax'	最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを –1 に設定する
  'symmetriclogit'	2/(1 + e–x) – 1

• MATLAB 関数やユーザー定義関数の場合は、関数ハンドルを入力します。

  Mdl.ScoreTransform = @function;

  function は、行列 (元のスコア) を受け入れて同じサイズの行列 (変換したスコア) を返さなければなりません。

データ型: char | function_handle

Sigma — 予測子の標準偏差

[] (既定値) | 数値ベクトル

この プロパティ は読み取り専用です。

予測子の標準偏差。数値ベクトルを指定します。

fitcsvm を使用して SVM 分類器に学習させるときに 'Standardize',true を指定した場合、Sigma の長さは予測子変数の数と等しくなります。

MATLAB では、ダミー変数を使用して予測子データ内のカテゴリカル変数が拡張されます。Sigma には、ダミー変数を含む各予測子変数について 1 つずつ値が格納されます。ただし、カテゴリカル変数が含まれている列は MATLAB では標準化されません。

fitcsvm を使用して SVM 分類器に学習をさせるときに 'Standardize',false を設定した場合、Sigma は空ベクトル ([]) です。

データ型: single | double

W — 観測値の重み

数値ベクトル

この プロパティ は読み取り専用です。

SVM 分類器の学習に使用する観測値の重み。n 行 1 列の数値ベクトルを指定します。n は観測値の個数 (NumObservations を参照) です。

fitcsvm は、特定のクラスにおける W の要素の合計がそのクラスの事前確率になるように、名前と値のペアの引数 'Weights' で指定された観測値の重みを正規化します。

データ型: single | double

X — 標準化されていない予測子

数値行列 | テーブル

この プロパティ は読み取り専用です。

SVM 分類器の学習に使用する、標準化されていない予測子。数値行列またはテーブルを指定します。

X の各行は 1 つの観測値に対応し、各列は 1 つの変数に対応します。

データ型: single | double

Y — クラス ラベル

categorical 配列 | 文字配列 | logical ベクトル | 数値ベクトル | 文字ベクトルの cell 配列

この プロパティ は読み取り専用です。

SVM 分類器の学習に使用するクラス ラベル。categorical 配列、文字配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列を指定します。Y のデータ型は fitcsvm の入力引数 Y と同じです。(string 配列は文字ベクトルの cell 配列として扱われます)。

Y の各行は、X の対応する行の観測された分類を表します。

データ型: single | double | logical | char | cell | categorical

収束制御のプロパティ

ConvergenceInfo — 収束情報

構造体配列

この プロパティ は読み取り専用です。

収束情報。構造体配列を指定します。

フィールド	説明
Converged	アルゴリズムが収束したかどうかを示す論理フラグ (1 は収束を示す)。
ReasonForConvergence	使用する収束検出条件を示す文字ベクトル。
Gap	双対目的関数と主目的関数の間の実行可能性ギャップを示すスカラー。
GapTolerance	実行可能性ギャップの許容誤差を示すスカラー。この許容誤差を、たとえば 1e-2 に設定するには、fitcsvm の名前と値のペアの引数 'GapTolerance',1e-2 を使用します。
DeltaGradient	スカラーで取得された、上位の違反値と下位の違反値の間の勾配差分
DeltaGradientTolerance	上位の違反値と下位の違反値の間の勾配差分に対するスカラーの許容誤差。この許容誤差を、たとえば 1e-2 に設定するには、fitcsvm の名前と値のペアの引数 'DeltaGradientTolerance',1e-2 を使用します。
LargestKKTViolation	カルーシュ・キューン・タッカー (KKT) 違反の最大値を示すスカラー。
KKTTolerance	KKT 違反の最大値に対するスカラーの許容誤差。この許容誤差を、たとえば 1e-3 に設定するには、fitcsvm の名前と値のペアの引数 'KKTTolerance',1e-3 を使用します。
History	設定された最適化反復での収束情報を含む構造体配列。フィールドは次のとおりです。 NumIterations: 収束情報の記録の対象となる反復インデックスの数値ベクトル Gap: 反復時の Gap 値の数値ベクトル DeltaGradient: 反復時の DeltaGradient 値の数値ベクトル LargestKKTViolation: 反復時の LargestKKTViolation 値の数値ベクトル NumSupportVectors: 反復時のサポート ベクターの数を示す数値ベクトル Objective: 反復時の Objective 値の数値ベクトル
Objective	双対目的関数のスカラー値。

データ型: struct

NumIterations — 反復回数

正の整数

この プロパティ は読み取り専用です。

最適化ルーチンが収束するために必要な反復回数。正の整数を指定します。

反復回数の制限を、たとえば 1000 に設定するには、fitcsvm を使用して SVM 分類器に学習をさせるときに 'IterationLimit',1000 を指定します。

データ型: double

ShrinkagePeriod — アクティブ セットの縮小間の反復数

非負の整数

この プロパティ は読み取り専用です。

アクティブ セットの縮小間の反復回数。非負の整数値を指定します。

縮小期間を、たとえば 1000 に設定するには、fitcsvm を使用して SVM 分類器に学習をさせるときに 'ShrinkagePeriod',1000 を指定します。

データ型: single | double

ハイパーパラメーター最適化のプロパティ

HyperparameterOptimizationResults — ハイパーパラメーターの交差検証最適化の説明

BayesianOptimization オブジェクト | テーブル

この プロパティ は読み取り専用です。

ハイパーパラメーターの交差検証最適化の説明。BayesianOptimization オブジェクト、またはハイパーパラメーターおよび関連する値が含まれているテーブルを指定します。作成時に fitcsvm の名前と値のペアの引数 'OptimizeHyperparameters' が空以外であった場合、このプロパティは空以外になります。HyperparameterOptimizationResults の値は、次の表で説明されているように、作成時の fitcsvm の構造体 HyperparameterOptimizationOptions における Optimizer フィールドの設定によって変化します。

Optimizer フィールドの値	HyperparameterOptimizationResults の値
'bayesopt' (既定の設定)	BayesianOptimization クラスのオブジェクト
'gridsearch' または 'randomsearch'	使用したハイパーパラメーター、観測された目的関数の値 (交差検証損失)、および最低 (最良) から最高 (最悪) までの観測値の順位が格納されているテーブル

オブジェクト関数

compact	機械学習モデルのサイズの縮小
compareHoldout	新しいデータを使用して 2 つの分類モデルの精度を比較
crossval	機械学習モデルの交差検証
discardSupportVectors	線形サポート ベクター マシン (SVM) 分類器のサポート ベクターを破棄
edge	サポート ベクター マシン (SVM) 分類器の分類エッジを計算
fitPosterior	サポート ベクター マシン (SVM) 分類器の事後確率の当てはめ
gather	GPU からの Statistics and Machine Learning Toolbox オブジェクトのプロパティの収集
incrementalLearner	バイナリ分類サポート ベクター マシン (SVM) モデルのインクリメンタル学習器への変換
lime	Local Interpretable Model-agnostic Explanations (LIME)
loss	サポート ベクター マシン (SVM) 分類器の分類誤差を計算
margin	サポート ベクター マシン (SVM) 分類器の分類マージンを計算
partialDependence	部分依存の計算
plotPartialDependence	部分依存プロット (PDP) および個別条件付き期待値 (ICE) プロットの作成
predict	サポート ベクター マシン (SVM) 分類器を使用して観測値を分類
resubEdge	再代入分類エッジ
resubLoss	再代入分類損失
resubMargin	再代入分類マージン
resubPredict	学習済み分類器を使用した学習データの分類
resume	サポート ベクター マシン (SVM) 分類器の学習を再開
shapley	シャープレイ値
testckfold	交差検証の反復により 2 つの分類モデルの精度を比較

例

SVM 分類器の学習

フィッシャーのアヤメのデータセットを読み込みます。がく片の長さと幅および観測済みのすべての setosa 種のアヤメを削除します。

load fisheriris
inds = ~strcmp(species,'setosa');
X = meas(inds,3:4);
y = species(inds);

処理済みのデータセットを使用して SVM 分類器に学習させます。

SVMModel = fitcsvm(X,y)

SVMModel = 
  ClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'versicolor'  'virginica'}
           ScoreTransform: 'none'
          NumObservations: 100
                    Alpha: [24x1 double]
                     Bias: -14.4149
         KernelParameters: [1x1 struct]
           BoxConstraints: [100x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [100x1 logical]
                   Solver: 'SMO'

SVMModel は学習させた ClassificationSVM 分類器です。SVMModel のプロパティを表示します。たとえば、クラスの順序を確認するには、ドット表記を使用します。

classOrder = SVMModel.ClassNames

classOrder = 2x1 cell
    {'versicolor'}
    {'virginica' }

最初のクラス ('versicolor') は陰性のクラスで、2 番目のクラス ('virginica') は陽性のクラスです。'ClassNames' 名前と値のペアの引数を使用すると、学習中にクラスの順序を変更できます。

データの散布図をプロットし、サポート ベクターを円で囲みます。

sv = SVMModel.SupportVectors;
figure
gscatter(X(:,1),X(:,2),y)
hold on
plot(sv(:,1),sv(:,2),'ko','MarkerSize',10)
legend('versicolor','virginica','Support Vector')
hold off

サポート ベクターは、推定されたクラス境界の上または外側で発生する観測値です。

名前と値のペアの引数 'BoxConstraint' を使用して学習時のボックス制約を設定すると、境界 (および結果的にサポート ベクターの個数) を調整できます。

SVM 分類器の学習と交差検証

ionosphere データセットを読み込みます。

load ionosphere

SVM 分類器の学習と交差検証を行います。予測子データを標準化し、クラスの順序を指定します。

rng(1);  % For reproducibility
CVSVMModel = fitcsvm(X,Y,'Standardize',true,...
    'ClassNames',{'b','g'},'CrossVal','on')

CVSVMModel = 
  ClassificationPartitionedModel
    CrossValidatedModel: 'SVM'
         PredictorNames: {'x1'  'x2'  'x3'  'x4'  'x5'  'x6'  'x7'  'x8'  'x9'  'x10'  'x11'  'x12'  'x13'  'x14'  'x15'  'x16'  'x17'  'x18'  'x19'  'x20'  'x21'  'x22'  'x23'  'x24'  'x25'  'x26'  'x27'  'x28'  'x29'  'x30'  'x31'  'x32'  'x33'  'x34'}
           ResponseName: 'Y'
        NumObservations: 351
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'b'  'g'}
         ScoreTransform: 'none'

CVSVMModel は ClassificationPartitionedModel 交差検証 SVM 分類器です。既定では、10 分割交差検証が実行されます。

あるいは、学習済みの ClassificationSVM 分類器を crossval に渡すことにより、この分類器を交差検証できます。

ドット表記を使用して、学習させた分割のいずれかを検査します。

CVSVMModel.Trained{1}

ans = 
  CompactClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'b'  'g'}
           ScoreTransform: 'none'
                    Alpha: [78x1 double]
                     Bias: -0.2210
         KernelParameters: [1x1 struct]
                       Mu: [0.8888 0 0.6320 0.0406 0.5931 0.1205 0.5361 0.1286 0.5083 0.1879 0.4779 0.1567 0.3924 0.0875 0.3360 0.0789 0.3839 9.6066e-05 0.3562 -0.0308 0.3398 -0.0073 0.3590 -0.0628 0.4064 -0.0664 0.5535 -0.0749 0.3835 ... ] (1x34 double)
                    Sigma: [0.3149 0 0.5033 0.4441 0.5255 0.4663 0.4987 0.5205 0.5040 0.4780 0.5649 0.4896 0.6293 0.4924 0.6606 0.4535 0.6133 0.4878 0.6250 0.5140 0.6075 0.5150 0.6068 0.5222 0.5729 0.5103 0.5061 0.5478 0.5712 0.5032 ... ] (1x34 double)
           SupportVectors: [78x34 double]
      SupportVectorLabels: [78x1 double]

各分割は、データの 90% で学習済みの CompactClassificationSVM 分類器です。

汎化誤差を推定します。

genError = kfoldLoss(CVSVMModel)

genError = 0.1168

平均すると汎化誤差は約 12% です。

詳細

ボックス制約

ボックス制約は、マージンに違反している観測値に課せられる最大ペナルティを制御するパラメーターであり、過適合の防止 (正則化) に役立ちます。

ボックス制約の値を大きくすると、SVM 分類器が割り当てるサポート ベクターは少なくなります。ただし、ボックス制約の値を大きくすると、学習時間が長くなる場合があります。

グラム行列

n 個のベクトルの組 {x₁,..,x_n; x_j ∊ R^p} のグラム行列とは、n 行 n 列の行列で、要素 (j,k) は G(x_j,x_k) = <ϕ(x_j),ϕ(x_k)> (カーネル関数 ϕ を使用して変換された予測子の内積) として定義されます。

非線形 SVM の場合、予測子データ X の行を使用してグラム行列が形成されます。双対形式化により、X 内の観測値の内積が、形成されるグラム行列の対応する要素に置き換えられます ("カーネル トリック" と呼ばれます)。この結果、分離超平面を求めるために、変換された予測子空間で非線形 SVM が作用します。

カルーシュ・キューン・タッカー相補性条件

KKT 相補性条件は、最適な非線形計画法の解決に必要な最適化制約です。

SVM では、すべての j = 1,...,n についてKKT 相補性条件は次のようになります。

$$\{\begin{array}{l}{\alpha }_j\left[y_{j}f\left(x_j\right)-1+{\xi }_j\right]=0\\ {\xi }_j\left(C-{\alpha }_j\right)=0\end{array}$$

ここで、$$f\left(x_j\right)=\varphi \left(x_j\right)\prime \beta +b,$$ であり、ϕ はカーネル関数 (グラム行列を参照)、ξ_j はスラック変数です。クラスが完全に可分な場合、すべての j = 1,...,n に対して ξ_j = 0 となります。

1 クラス学習

1 クラス学習 (教師なし SVM) は、(元の予測子空間ではない) 高次元予測子空間の原点からデータを分離することを目的としており、外れ値の検出に使用されるアルゴリズムです。

このアルゴリズムはバイナリ分類の SVM のアルゴリズムと類似しています。目的は、$${\alpha }_1,\mathrm{...},{\alpha }_n$$ に関して次の双対式を最小化することです。

$$0.5{\displaystyle \sum _{jk}{\alpha }_j}{\alpha }_{k}G(x_j,x_k)$$

これには、すべての j = 1,...,n について $$0\le {\alpha }_j\le 1$$ と次の式を満たすという条件があります。

$${\displaystyle \sum {\alpha }_j}=n\nu$$

G(x_j,x_k) の値は、グラム行列の要素 (j,k) です。

ν の値が小さいとサポート ベクターが少なくなるので、判定境界は起伏が少なく柔軟性が低いものとなります。ν の値が大きいとサポート ベクターが多くなるので、判定境界は起伏が多く柔軟性が高いものとなります。ν の最適値は、データの複雑さを取り込めるだけの大きさがあり、過学習が発生しない程度に小さい値です。また、0 < ν ≤ 1 です。

詳細は、[5]を参照してください。

サポート ベクター

サポート ベクターは、α₁,...,α_n の厳密に正の推定値に対応する観測値です。

特定の学習セットに対して生成されるサポート ベクターが少ない SVM 分類器の方が推奨されます。

バイナリ分類のサポート ベクター マシン

SVM バイナリ分類アルゴリズムでは、データを 2 つのクラスに分離する最適超平面が検索されます。クラスが可分な場合、最適超平面は周囲の "マージン" (観測値がない領域) を最大化します。これにより、陽性のクラスと陰性のクラスの境界が作成されます。クラスが不可分な場合でも目的は同じですが、クラスの境界の誤った側にあるすべての観測のマージンの長さに対し、アルゴリズムによりペナルティが課されます。

線形 SVM スコア関数は次のようになります。

$$f(x)=x\prime \beta +b,$$

ここで

• x は観測値です (X の行に対応します)。

• ベクトル β には超平面に直交するベクトルを定義する係数 (Mdl.Beta に対応) が含まれています。可分データの場合、最適なマージンの長さは $$2/\Vert \beta \Vert .$$ です。

• b は (Mdl.Bias に対応する) バイアス項です。

特定の係数に対する f(x) の根により超平面が定義されます。特定の超平面について、f(z) は点 z から超平面までの距離です。

このアルゴリズムでは、陽性 (y = 1) のクラスと陰性 (y = -1) のクラスを分離したままマージンの最大長を求めます。

• 可分クラスの場合、目的は β および b に関して $$\Vert \beta \Vert$$ を最小化することです。これには、すべての j = 1,..,n について y_jf(x_j) ≥ 1 という条件があります。これが可分クラスの "主" 問題の定式化です。

• 不可分クラスの場合、このアルゴリズムではスラック変数 (ξ_j) を使用して、クラスのマージン境界を超える観測値の目的関数にペナルティを課します。クラスのマージン境界を超えない観測値では ξ_j = 0 であり、そうでない場合は ξ_j ≥ 0 です。

  目的は、β、b および ξ_j に関して $$0.5{\Vert \beta \Vert }^2+C{\displaystyle \sum {\xi }_j}$$ を最小化することです。これには、すべての j = 1,..,n および正のスカラー ボックス制約 C について $$y_{j}f(x_j)\ge 1-{\xi }_j$$ および $${\xi }_j\ge 0$$ という条件があります。これは不可分クラスの主問題の定式化です。

このアルゴリズムでは、ラグランジュ乗数法を使用して目的関数を最適化します。これにより、(Mdl.Alpha に対応する) n 個の係数 α₁,...,α_n が導入されます。線形 SVM の双対形式化は次のようになります。

• 可分クラスの場合、α₁,...,α_n に関して次の式を最小化します。

  $$0.5{\displaystyle \sum _{j=1}^n{\displaystyle \sum }_{k=1}^n}{\alpha }_j{\alpha }_k{y}_j{y}_k{x}_j\prime x_k-{\displaystyle \sum }_{j=1}^n{\alpha }_j$$

  これには、すべての j = 1,...,n について $${\displaystyle \sum {\alpha }_j}{y}_j=0$$, α_j ≥ 0 という条件とカルーシュ・キューン・タッカー (KKT) 相補性条件が適用されます。

• 不可分クラスの場合、目的関数は可分クラスの場合と同じですが、すべての j = 1,..,n について $$0\le {\alpha }_j\le C$$ という条件が加わります。

生成されるスコア関数は次のようになります。

$$\widehat{f}(x)={\displaystyle \sum _{j=1}^n{\widehat{\alpha }}_j}{y}_{j}x\prime x_j+\widehat{b}.$$

$$\widehat{b}$$ はバイアスの推定値、$${\widehat{\alpha }}_j$$ はベクトル $$\widehat{\alpha }$$ の j 番目の推定値です (j = 1,...,n)。このように記述すると、主問題を定式化した結果、スコア関数は β の推定値の影響を受けなくなります。

SVM アルゴリズムでは、$$\text{sign}\left(\widehat{f}\left(z\right)\right).$$ を使用して新しい観測値 z を分類します。

場合によっては、非線形境界によってクラスが分離されます。"非線形 SVM" は変換済み予測子空間で、最適な分離超平面を検索します。

非線形 SVM の双対問題は、α₁,...,α_n に関して次のように定式化されます。

$$0.5{\displaystyle \sum _{j=1}^n{\displaystyle \sum _{k=1}^n{\alpha }_j}}{\alpha }_k{y}_j{y}_{k}G(x_j,x_k)-{\displaystyle \sum _{j=1}^n{\alpha }_j}$$

これには、すべての j = 1,..,n について $${\displaystyle \sum {\alpha }_j}{y}_j=0$$, $$0\le {\alpha }_j\le C$$ という条件と KKT 相補性条件が適用されます。G (x_k,x_j) はグラム行列の要素です。生成されるスコア関数は次のようになります。

$$\widehat{f}(x)={\displaystyle \sum _{j=1}^n{\widehat{\alpha }}_j}{y}_{j}G(x,x_j)+\widehat{b}.$$

詳細は、サポート ベクター マシンについて、[1]および[3]を参照してください。

アルゴリズム

• SVM バイナリ分類アルゴリズムの数学的定式化については、バイナリ分類のサポート ベクター マシンとサポート ベクター マシンについてを参照してください。

• NaN、<undefined>、空の文字ベクトル ('')、空の string ("")、および <missing> 値は、欠損値を示します。fitcsvm は、欠損応答に対応するデータ行全体を削除します。fitcsvm は、重みの合計を計算するときに (以下の項目を参照)、欠損している予測子が 1 つ以上ある観測値に対応する重みを無視します。これにより、平衡なクラスの問題で不平衡な事前確率が発生する可能性があります。したがって、観測値のボックス制約が BoxConstraint に等しくならない可能性があります。

• 名前と値の引数 Cost、Prior、および Weights を指定すると、出力モデル オブジェクトに Cost、Prior、および W の各プロパティの指定値がそれぞれ格納されます。Cost プロパティには、ユーザー指定のコスト行列 (C) が変更なしで格納されます。Prior プロパティと W プロパティには、正規化後の事前確率と観測値の重みがそれぞれ格納されます。モデルの学習用に、事前確率と観測値の重みが更新されて、コスト行列で指定されているペナルティが組み込まれます。詳細については、誤分類コスト行列、事前確率、および観測値の重みを参照してください。

  名前と値の引数 Cost および Prior は 2 クラス学習用であることに注意してください。1 クラス学習の場合、Cost プロパティには 0、Prior プロパティには 1 が格納されます。

• 2 クラス学習の場合、fitcsvm は学習データの各観測値にボックス制約を割り当てます。観測値 j のボックス制約の式は、次のようになります。

  $$C_j=n{C}_0{w}_j^{\ast },$$

  ここで、C₀ は初期のボックス制約 (名前と値の引数 BoxConstraint を参照)、w_j^* は観測値 j の Cost と Prior で調整された観測値の重みです。観測値の重みの詳細については、誤分類コスト行列に応じた事前確率と観測値の重みの調整を参照してください。

• Standardize を true として指定し、名前と値の引数 Cost、Prior、または Weights を設定した場合、fitcsvm は対応する加重平均および加重標準偏差を使用して予測子を標準化します。つまり、fitcsvm は、以下を使用して予測子 j (x_j) を標準化します。

  $$x_j^{\ast }=\frac{x_j-{\mu }_j^{\ast }}{{\sigma }_j^{\ast }},$$

  ここで、x_jk は予測子 j (列) の観測値 k (行) であり、次のようになります。

  $$\begin{array}{c}{\mu }_j^{\ast }=\frac{1}{{\displaystyle \sum _k{w}_k^{*}}}{\displaystyle \sum _k{w}_k^{*}{x}_{jk}},\\ {\left({\sigma }_j^{\ast }\right)}^2=\frac{v_1}{v_1^2-v_2}{\displaystyle \sum _k{w}_k^{*}{\left(x_{jk}-{\mu }_j^{\ast }\right)}^2},\\ v_1={\displaystyle \sum _j{w}_j^{*}},\\ v_2={\displaystyle \sum _j{\left(w_j^{*}\right)}^2}.\end{array}$$

• p は学習データで予期される外れ値の比率であり、'OutlierFraction',p を設定したと仮定します。

  • 1 クラス学習では、バイアス項の学習により、学習データの観測値のうち 100p% が負のスコアをもつようになります。

  • 2 クラス学習では "ロバスト学習" が行われます。この方式では、最適化アルゴリズムが収束すると、観測値のうち 100p% の削除が試行されます。削除された観測値は、勾配の大きいものに対応します。

• 予測子データにカテゴリカル変数が含まれている場合、一般にこれらの変数について完全なダミー エンコードが使用されます。各カテゴリカル変数の各レベルについて、1 つずつダミー変数が作成されます。

  • PredictorNames プロパティには、元の予測子変数名のそれぞれについて 1 つずつ要素が格納されます。たとえば、3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、PredictorNames は元の予測子変数名が含まれている 1 行 3 列の文字ベクトルの cell 配列になります。

  • ExpandedPredictorNames プロパティには、ダミー変数を含む予測子変数のそれぞれについて 1 つずつ要素が格納されます。たとえば、3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、ExpandedPredictorNames は予測子変数および新しいダミー変数の名前が含まれている 1 行 5 列の文字ベクトルの cell 配列になります。

  • 同様に、Beta プロパティには、ダミー変数を含む各予測子について 1 つずつベータ係数が格納されます。

  • SupportVectors プロパティには、ダミー変数を含むサポート ベクターの予測子の値が格納されます。たとえば、m 個のサポート ベクターと 3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、SupportVectors は n 行 5 列の行列になります。

  • X プロパティには、はじめに入力されたときの状態で学習データが格納され、ダミー変数は含まれません。入力がテーブルの場合、X には予測子として使用した列のみが格納されます。

• テーブルで予測子を指定した場合、いずれかの変数に順序付きのカテゴリが含まれていると、これらの変数について順序付きエンコードが使用されます。

  • k 個の順序付きレベルが変数に含まれている場合、k – 1 個のダミー変数が作成されます。j 番目のダミー変数は、j までのレベルについては –1、j + 1 から k までのレベルについては +1 になります。

  • ExpandedPredictorNames プロパティに格納されるダミー変数の名前は 1 番目のレベルを示し、値は +1 になります。レベル 2, 3, ..., k の名前を含む k – 1 個の追加予測子名がダミー変数について格納されます。

• どのソルバーも L1 ソフト マージン最小化を実装します。

• 1 クラス学習の場合、次の条件を満たすラグランジュ乗数 α₁,...,α_n が推定されます。

  $${\displaystyle \sum _{j=1}^n{\alpha }_j}=n\nu .$$

参照

[1] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, Second Edition. NY: Springer, 2008.

[2] Scholkopf, B., J. C. Platt, J. C. Shawe-Taylor, A. J. Smola, and R. C. Williamson. “Estimating the Support of a High-Dimensional Distribution.” Neural Comput., Vol. 13, Number 7, 2001, pp. 1443–1471.

[3] Christianini, N., and J. C. Shawe-Taylor. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods. Cambridge, UK: Cambridge University Press, 2000.

[4] Scholkopf, B., and A. Smola. Learning with Kernels: Support Vector Machines, Regularization, Optimization and Beyond, Adaptive Computation and Machine Learning. Cambridge, MA: The MIT Press, 2002.

拡張機能

C/C++ コード生成

MATLAB® Coder™ を使用して C および C++ コードを生成します。

使用上の注意事項および制限事項:

• 関数 predict および update はコード生成をサポートします。

• Simulink^® に SVM 分類モデルの予測を統合するには、Statistics and Machine Learning Toolbox™ ライブラリにある ClassificationSVM Predict ブロックを使用するか、MATLAB Function ブロックを関数 predict と共に使用します。

• fitcsvm を使用して SVM モデルに学習をさせる場合、以下の制限が適用されます。

  • 名前と値のペアの引数 'ScoreTransform' の値を無名関数にすることはできません。新しい観測値が与えられた場合に事後確率を予測するコードを生成する場合、学習済みの SVM モデルを fitPosterior または fitSVMPosterior に渡します。返されるモデルの ScoreTransform プロパティには、コード生成用に設定された、スコアを事後確率に変換する関数を表す無名関数が含まれています。

  • 固定小数点コードの生成では、名前と値のペアの引数 'ScoreTransform' の値を 'invlogit' にすることはできません。また、名前と値のペアの引数 'KernelFunction' の値は、'gaussian'、'linear'、または 'polynomial' でなければなりません。

  • 固定小数点コードの生成およびコーダー コンフィギュアラーを使用するコード生成では、以下の追加制限が適用されます。

    • カテゴリカル予測子 (logical、categorical、char、string、または cell) はサポートされません。名前と値の引数 CategoricalPredictors は使用できません。カテゴリカル予測子をモデルに含めるには、モデルを当てはめる前に dummyvar を使用してカテゴリカル予測子を前処理します。

    • categorical データ型のクラス ラベルはサポートされません。学習データ内のクラス ラベル値 (Tbl または Y) および名前と値の引数 ClassNames の値はどちらも categorical データ型の配列にはできません。

詳細は、コード生成の紹介を参照してください。

GPU 配列

Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

使用上の注意事項および制限事項:

• 次のオブジェクト関数は GPU 配列を完全にサポートしています。

  • compact

  • crossval

  • discardSupportVectors

  • fitPosterior

  • gather

  • resubEdge

  • resubLoss

  • resubMargin

  • resubPredict

  • resume

• 次のオブジェクト関数は GPU 配列のサポートに制限があります。

  • compareHoldout

  • edge

  • loss

  • margin

  • partialDependence

  • plotPartialDependence

  • predict

• オブジェクト関数は次のいずれかに該当する場合に GPU で実行されます。

  • モデルが GPU 配列を使用して当てはめられている。

  • オブジェクト関数に渡す予測子データが GPU 配列である。

詳細は、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

バージョン履歴

R2014a で導入

R2023b: 予測子に欠損値がある観測値をモデルに格納

R2023b 以降では、予測子に欠損値がある学習観測値が X、Y、および W のデータ プロパティに含まれます。RowsUsed プロパティは、学習に使用された観測値ではなく、モデルに格納されている学習観測値を示します。予測子に欠損値がある観測値は、モデルの学習プロセスでは引き続き省略されます。

以前のリリースでは、予測子に欠損値がある学習観測値はモデルのデータ プロパティで省略されていました。

R2022a: Cost プロパティにユーザー指定のコスト行列を格納

R2022a 以降では、指定したコストの値を使用して観測誤分類コストを計算できるように、Cost プロパティにユーザー指定のコスト行列が格納されます。ソフトウェアで格納される正規化された事前確率 (Prior) と観測値の重み (W) には、コスト行列で指定されているペナルティは反映されていません。観測誤分類コストを計算するには、関数 loss または resubLoss を呼び出すときに名前と値の引数 LossFun を "classifcost" として指定します。

モデルの学習は変更されていないため、クラス間の判定境界には変更がないことに注意してください。

学習用に、指定した事前確率が近似関数によって更新され、指定したコスト行列で指定されているペナルティが組み込まれます。さらに、事前確率と観測値の重みが正規化されます。この動作は変更されていません。以前のリリースでは、Cost プロパティには既定のコスト行列が格納され、Prior プロパティと W プロパティには学習に使用される事前確率と観測値の重みがそれぞれ格納されていました。R2022a 以降では、ユーザー指定のコスト行列が変更なしで格納され、コストのペナルティが反映されていない正規化された事前確率と観測値の重みが格納されます。詳細については、誤分類コスト行列、事前確率、および観測値の重みを参照してください。

Cost、Prior、および W の各プロパティを使用するオブジェクト関数の一部を次に示します。

• 関数 loss および resubLoss は、名前と値の引数 LossFun を "classifcost" または "mincost" として指定した場合、Cost プロパティに格納されたコスト行列を使用します。

• 関数 loss および edge は、入力データの観測値の重みを正規化するために、Prior プロパティに格納された事前確率を使用します。

• 関数 resubLoss および resubEdge は、W プロパティに格納された観測値の重みを使用します。

分類モデルに学習させるときに既定以外のコスト行列を指定すると、オブジェクト関数で以前のリリースとは異なる値が返されます。

ソフトウェアでコスト行列、事前確率、および観測値の重みを以前のリリースと同じように扱う場合は、誤分類コスト行列に応じた事前確率と観測値の重みの調整の説明に従って、既定以外のコスト行列の事前確率と観測値の重みを調整します。その後、分類モデルに学習させるときに、調整後の事前確率と観測値の重みを名前と値の引数 Prior と Weights を使用して指定し、既定のコスト行列を使用します。

参考

fitcsvm | CompactClassificationSVM | ClassificationPartitionedModel

トピック

• サポート ベクター マシンの使用
• サポート ベクター マシンについて