最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

fitrsvm

サポート ベクター マシン回帰モデルの近似

fitrsvm は、低～中次元の予測子データセットに対してサポート ベクター マシン (SVM) 回帰モデルに学習をさせるか、SVM 回帰モデルの交差検証を行います。fitrsvm は、カーネル関数を使用する予測子データのマッピングをサポートし、目的関数最小化のための二次計画法による SMO、ISDA または L1 ソフト マージン最小化をサポートします。

高次元データセット、つまり多数の予測子変数が含まれているデータセットに対して線形 SVM 回帰モデルに学習をさせるには、代わりに fitrlinear を使用します。

バイナリ分類用の SVM モデルに学習をさせる方法については、低～中次元の予測子データセットの場合は fitcsvm、高次元データセットの場合は fitclinear を参照してください。

構文

Mdl = fitrsvm(Tbl,ResponseVarName)

Mdl = fitrsvm(Tbl,formula)

Mdl = fitrsvm(Tbl,Y)

Mdl = fitrsvm(X,Y)

Mdl = fitrsvm(___,Name,Value)

説明

Mdl = fitrsvm(Tbl,ResponseVarName) は、テーブル Tbl に含まれている予測子の値と Tbl.ResponseVarName に含まれている応答値を使用して学習させた、完全な学習済みサポート ベクター マシン (SVM) 回帰モデル Mdl を返します。

Mdl = fitrsvm(Tbl,formula) は、テーブル Tbl 内の予測子の値を使用して学習させた、完全な SVM 回帰モデルを返します。formula は、Mdl のあてはめに使用する応答および Tbl 内の予測子変数サブセットの説明モデルです。

Mdl = fitrsvm(Tbl,Y) は、テーブル Tbl 内の予測子の値とベクトル Y 内の応答値を使用して学習させた、完全な学習済み SVM 回帰モデルを返します。

Mdl = fitrsvm(X,Y) は、行列 X 内の予測子の値とベクトル Y 内の応答値を使用して学習させた、完全な学習済み SVM 回帰モデルを返します。

Mdl = fitrsvm(___,Name,Value) は、1 つ以上の名前と値のペアの引数で指定された追加オプションと前の構文のいずれかを使用して SVM 回帰モデルを返します。たとえば、カーネル関数を指定したり、交差検証済みモデルを学習させることができます。

例

線形サポート ベクター マシン回帰モデルの学習

行列に格納されている標本データを使用してサポート ベクター マシン (SVM) 回帰モデルに学習をさせます。

carsmall データセットを読み込みます。

load carsmall
rng 'default'  % For reproducibility

予測子変数 (X) として Horsepower と Weight を、応答変数 (Y) として MPG を指定します。

X = [Horsepower,Weight];
Y = MPG;

既定の SVM 回帰モデルに学習をさせます。

Mdl = fitrsvm(X,Y)

Mdl = 
  RegressionSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
        ResponseTransform: 'none'
                    Alpha: [76x1 double]
                     Bias: 43.1920
         KernelParameters: [1x1 struct]
          NumObservations: 93
           BoxConstraints: [93x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [93x1 logical]
                   Solver: 'SMO'


  Properties, Methods

Mdl は学習させた RegressionSVM モデルです。

モデルが収束したかチェックします。

Mdl.ConvergenceInfo.Converged

ans = logical
   0

0 は、モデルが収束しなかったことを示します。

標準化したデータを使用して、モデルを再学習させます。

MdlStd = fitrsvm(X,Y,'Standardize',true)

MdlStd = 
  RegressionSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
        ResponseTransform: 'none'
                    Alpha: [77x1 double]
                     Bias: 22.9131
         KernelParameters: [1x1 struct]
                       Mu: [109.3441 2.9625e+03]
                    Sigma: [45.3545 805.9668]
          NumObservations: 93
           BoxConstraints: [93x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [93x1 logical]
                   Solver: 'SMO'


  Properties, Methods

モデルが収束したかチェックします。

MdlStd.ConvergenceInfo.Converged

ans = logical
   1

1 は、モデルが収束したことを示します。

新しいモデルの再代入 (標本内) 平均二乗誤差を計算します。

lStd = resubLoss(MdlStd)

lStd = 17.0256

サポート ベクター マシン回帰モデルの学習

UCI Machine Learning Repository のアワビのデータを使用してサポート ベクター マシン回帰モデルに学習をさせます。

データをダウンロードして、'abalone.csv' という名前で現在のフォルダに保存します。

url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data';
websave('abalone.csv',url);

データをテーブルに読み込みます。変数名を指定します。

varnames = {'Sex'; 'Length'; 'Diameter'; 'Height'; 'Whole_weight';...
    'Shucked_weight'; 'Viscera_weight'; 'Shell_weight'; 'Rings'};
Tbl = readtable('abalone.csv','Filetype','text','ReadVariableNames',false);
Tbl.Properties.VariableNames = varnames;

標本データには 4177 個の観測値が含まれています。Sex を除くすべての予測子変数は連続です。この変数はカテゴリカル変数で、可能な値は 'M' (雄)、'F' (雌) および 'I' (稚貝) です。目標は、物理的な測定値を使用して (Rings に格納されている) アワビの輪の数を予測し、年齢を決定することです。

自動カーネル スケールのガウス カーネル関数を使用して SVM 回帰モデルを学習させます。データを標準化します。

rng default  % For reproducibility
Mdl = fitrsvm(Tbl,'Rings','KernelFunction','gaussian','KernelScale','auto',...
    'Standardize',true)

Mdl = 

  RegressionSVM
           PredictorNames: {1×8 cell}
             ResponseName: 'Rings'
    CategoricalPredictors: 1
        ResponseTransform: 'none'
                    Alpha: [3635×1 double]
                     Bias: 10.8144
         KernelParameters: [1×1 struct]
                       Mu: [1×10 double]
                    Sigma: [1×10 double]
          NumObservations: 4177
           BoxConstraints: [4177×1 double]
          ConvergenceInfo: [1×1 struct]
          IsSupportVector: [4177×1 logical]
                   Solver: 'SMO'

Mdl が学習済みの RegressionSVM モデルであることとプロパティのリストがコマンド ウィンドウに表示されます。

ドット表記を使用して、Mdl のプロパティを表示します。たとえば、モデルが収束したかどうかや、何回の反復が完了したかを確認します。

conv = Mdl.ConvergenceInfo.Converged
iter = Mdl.NumIterations

conv =

  logical

   1


iter =

        2759

返された結果は、このモデルが 2759 回の反復後に収束したことを示しています。

SVM 回帰モデルの交差検証

carsmall データセットを読み込みます。

load carsmall
rng 'default'  % For reproducibility

予測子変数 (X) として Horsepower と Weight を、応答変数 (Y) として MPG を指定します。

X = [Horsepower Weight];
Y = MPG;

5 分割の交差検証を使用して 2 つの SVM 回帰モデルを交差検証します。両方のモデルについて、予測子の標準化を指定します。一方のモデルでは既定の線形カーネルを、もう一方のモデルではガウス カーネルを使用して学習を行うように指定します。

MdlLin = fitrsvm(X,Y,'Standardize',true,'KFold',5)

MdlLin = 
  classreg.learning.partition.RegressionPartitionedSVM
    CrossValidatedModel: 'SVM'
         PredictorNames: {'x1'  'x2'}
           ResponseName: 'Y'
        NumObservations: 94
                  KFold: 5
              Partition: [1x1 cvpartition]
      ResponseTransform: 'none'


  Properties, Methods

MdlGau = fitrsvm(X,Y,'Standardize',true,'KFold',5,'KernelFunction','gaussian')

MdlGau = 
  classreg.learning.partition.RegressionPartitionedSVM
    CrossValidatedModel: 'SVM'
         PredictorNames: {'x1'  'x2'}
           ResponseName: 'Y'
        NumObservations: 94
                  KFold: 5
              Partition: [1x1 cvpartition]
      ResponseTransform: 'none'


  Properties, Methods

MdlLin.Trained

ans = 5x1 cell array
    {1x1 classreg.learning.regr.CompactRegressionSVM}
    {1x1 classreg.learning.regr.CompactRegressionSVM}
    {1x1 classreg.learning.regr.CompactRegressionSVM}
    {1x1 classreg.learning.regr.CompactRegressionSVM}
    {1x1 classreg.learning.regr.CompactRegressionSVM}

MdlLin と MdlGau は RegressionPartitionedSVM 交差検証済みモデルです。各モデルの Trained プロパティは、CompactRegressionSVM モデルによる 5 行 1 列の cell 配列です。セル内のモデルには、観測値の分割を 4 つ使用し、1 つの分割は除外して学習を行った結果が格納されます。

モデルの汎化誤差を比較します。このケースでは、汎化誤差は標本外平均二乗誤差です。

mseLin = kfoldLoss(MdlLin)

mseLin = 17.4417

mseGau = kfoldLoss(MdlGau)

mseGau = 16.7397

ガウス カーネルを使用する SVM 回帰モデルの方が、線形カーネルを使用するモデルより性能が優れています。

データセット全体を fitrsvm に渡すことにより、予測に適しているモデルを作成し、より高性能のモデルをもたらした名前と値のペアの引数をすべて指定します。ただし、交差検証オプションは指定しません。

MdlGau = fitrsvm(X,Y,'Standardize',true,'KernelFunction','gaussian');

一連の自動車の MPG を予測するため、自動車の馬力および重量の測定値が格納されているテーブルと Mdl を predict に渡します。

SVM 回帰の最適化

この例では、fitrsvm を使用して自動的にハイパーパラメーターを最適化する方法を示します。この例では、carsmall データを使用します。

carsmall データセットを読み込みます。

load carsmall

予測子変数 (X) として Horsepower と Weight を、応答変数 (Y) として MPG を指定します。

X = [Horsepower Weight];
Y = MPG;

自動的なハイパーパラメーター最適化を使用して、5 分割交差検証損失を最小化するハイパーパラメーターを求めます。

再現性を得るために、乱数シードを設定し、'expected-improvement-plus' の獲得関数を使用します。

rng default
Mdl = fitrsvm(X,Y,'OptimizeHyperparameters','auto',...
    'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',...
    'expected-improvement-plus'))

|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstrain-|  KernelScale |      Epsilon |
|      | result |             | runtime     | (observed)  | (estim.)    | t            |              |              |
|====================================================================================================================|
|    1 | Best   |      6.1124 |      10.779 |      6.1124 |      6.1124 |      0.35664 |     0.043031 |      0.30396 |
|    2 | Best   |      2.9114 |    0.092593 |      2.9114 |       3.088 |        70.67 |       710.65 |       1.6369 |
|    3 | Accept |      4.1884 |    0.051436 |      2.9114 |       3.078 |       14.367 |    0.0059144 |       442.64 |
|    4 | Accept |       4.159 |    0.048154 |      2.9114 |      3.0457 |    0.0030879 |       715.31 |       2.6045 |
|    5 | Best   |      2.9044 |     0.19816 |      2.9044 |      2.9042 |       906.95 |       761.46 |       1.3274 |
|    6 | Best   |      2.8666 |     0.50618 |      2.8666 |      2.8668 |        997.3 |       317.41 |       3.7696 |
|    7 | Accept |      4.1881 |    0.043931 |      2.8666 |      2.8669 |       759.56 |       987.74 |       15.074 |
|    8 | Accept |      2.8992 |      2.5317 |      2.8666 |      2.8669 |       819.07 |       152.11 |       1.5192 |
|    9 | Accept |      2.8916 |     0.16756 |      2.8666 |      2.8672 |       921.52 |       627.48 |       2.3029 |
|   10 | Accept |      2.9001 |     0.28733 |      2.8666 |      2.8676 |       382.91 |       343.04 |       1.5448 |
|   11 | Accept |      3.6573 |      10.023 |      2.8666 |      2.8784 |        945.1 |        8.885 |       3.9207 |
|   12 | Accept |      2.9381 |      0.1064 |      2.8666 |       2.871 |       935.49 |       979.29 |       0.1384 |
|   13 | Accept |      2.9341 |    0.043784 |      2.8666 |      2.8719 |        1.992 |       999.49 |      0.21557 |
|   14 | Accept |      2.9227 |    0.062812 |      2.8666 |      2.8742 |        2.351 |       977.85 |     0.026124 |
|   15 | Accept |      2.9483 |     0.13059 |      2.8666 |      2.8751 |       826.92 |       713.57 |    0.0096305 |
|   16 | Accept |      2.9502 |      1.1689 |      2.8666 |      2.8813 |       345.64 |        129.6 |     0.027832 |
|   17 | Accept |      2.9329 |      0.1059 |      2.8666 |      2.8799 |       836.96 |       970.73 |     0.034398 |
|   18 | Accept |      2.9177 |    0.047944 |      2.8666 |      2.8771 |      0.10167 |       129.91 |    0.0092675 |
|   19 | Accept |        2.95 |       2.513 |      2.8666 |      2.8749 |       199.85 |        68.93 |    0.0092982 |
|   20 | Accept |      4.1964 |     0.06516 |      2.8666 |      2.8685 |    0.0012054 |       940.94 |    0.0097673 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstrain-|  KernelScale |      Epsilon |
|      | result |             | runtime     | (observed)  | (estim.)    | t            |              |              |
|====================================================================================================================|
|   21 | Accept |       2.905 |    0.051353 |      2.8666 |      2.8675 |       5.9475 |       199.82 |     0.013585 |
|   22 | Accept |      2.9329 |     0.10874 |      2.8666 |      2.8747 |      0.33221 |       21.509 |    0.0094248 |
|   23 | Accept |      2.9017 |    0.076283 |      2.8666 |      2.8689 |       13.341 |       554.39 |     0.069216 |
|   24 | Accept |      2.9067 |    0.067107 |      2.8666 |      2.8694 |      0.21467 |       73.415 |     0.028231 |
|   25 | Accept |      2.9046 |    0.052452 |      2.8666 |      2.8731 |      0.68546 |       61.287 |    0.0099165 |
|   26 | Accept |      2.9138 |    0.057869 |      2.8666 |      2.8676 |    0.0012185 |       8.8743 |    0.0093263 |
|   27 | Accept |      2.9193 |    0.059383 |      2.8666 |      2.8731 |    0.0099434 |       30.484 |    0.0093546 |
|   28 | Accept |      8.5384 |      10.335 |      2.8666 |      2.8683 |       992.36 |       1.4043 |    0.0093129 |
|   29 | Accept |      3.2254 |    0.048242 |      2.8666 |      2.8682 |    0.0010092 |       16.917 |       7.3665 |
|   30 | Accept |      4.1884 |     0.06625 |      2.8666 |      2.8683 |       983.95 |       42.654 |       287.19 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 70.2663 seconds.
Total objective function evaluation time: 39.8961

Best observed feasible point:
    BoxConstraint    KernelScale    Epsilon
    _____________    ___________    _______

        997.3          317.41       3.7696 

Observed objective function value = 2.8666
Estimated objective function value = 2.8683
Function evaluation time = 0.50618

Best estimated feasible point (according to models):
    BoxConstraint    KernelScale    Epsilon
    _____________    ___________    _______

        997.3          317.41       3.7696 

Estimated objective function value = 2.8683
Estimated function evaluation time = 0.4589

Mdl = 
  RegressionSVM
                         ResponseName: 'Y'
                CategoricalPredictors: []
                    ResponseTransform: 'none'
                                Alpha: [35×1 double]
                                 Bias: 48.8155
                     KernelParameters: [1×1 struct]
                      NumObservations: 93
    HyperparameterOptimizationResults: [1×1 BayesianOptimization]
                       BoxConstraints: [93×1 double]
                      ConvergenceInfo: [1×1 struct]
                      IsSupportVector: [93×1 logical]
                               Solver: 'SMO'


  Properties, Methods

最適化では、BoxConstraint、KernelScale および Epsilon に対して探索を行いました。出力は、推定交差検証損失が最小になる回帰です。

入力引数

Tbl — 予測子データ

テーブル

モデルを学習させるために使用する標本データ。テーブルとして指定します。Tbl の各行は 1 つの観測値に、各列は 1 つの予測子変数に対応します。オプションとして、Tbl に応答変数用の列を 1 つ追加できます。文字ベクトルの cell 配列ではない cell 配列と複数列の変数は使用できません。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数をすべて予測子として使用するには、ResponseVarName を使用して応答変数を指定します。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数の一部のみを予測子として使用するには、formula を使用して式を指定します。

Tbl に応答変数が含まれていない場合は、Y を使用して応答変数を指定します。応答変数の長さと Tbl の行数は、同じでなければなりません。

Tbl の行または Y の要素に 1 つ以上の NaN が含まれている場合、モデルを学習させるときに fitrsvm はその行および要素を両方の引数から削除します。

予測子の名前を Tbl に表示される順序で指定するには、PredictorNames 名前と値のペアの引数を使用します。

データ型: テーブル

ResponseVarName — 応答変数名

Tbl 内の変数の名前

応答変数の名前。Tbl 内の変数の名前で指定します。応答変数は、数値ベクトルでなければなりません。

ResponseVarName は文字ベクトルとして指定しなければなりません。たとえば、応答変数 Y が Tbl に Tbl.Y として格納されている場合、'Y' を指定します。それ以外の場合、モデルを学習させるときに、Tbl の列は Y を含めてすべて予測子として扱われます。

formula — 応答変数および予測子サブセット変数の説明モデル

文字ベクトル

予測子変数のサブセットおよび応答の説明モデル。'Y~X1+X2+X3' という形式の文字ベクトルを指定します。この式では、Y は応答変数を、X1、X2 および X3 は予測子変数を表します。変数は、Tbl (Tbl.Properties.VariableNames) に含まれている変数の名前でなければなりません。

モデルに学習をさせるための予測子として Tbl 内の変数のサブセットを指定するには、式を使用します。式を指定した場合、formula に現れない Tbl 内の変数は使用されません。

データ型: char

Y — 応答データ

数値ベクトル

応答データ。n 行 1 列の数値ベクトルを指定します。Y の長さと Tbl または X の行数は、同じでなければなりません。

Tbl または X の行、または Y の要素に 1 つ以上の NaN が含まれている場合、モデルを学習させるときに fitrsvm はその行および要素を両方の引数から削除します。

応答変数名を指定するには、ResponseName 名前と値のペアの引数を使用します。

データ型: single | double

X — 予測子データ

数値行列

SVM 回帰モデルをあてはめる対象となる予測子データ。n 行 p 列の数値行列を指定します。n は観測値の個数、p は予測子変数の個数です。

Y の長さと X の行数は等しくなければなりません。

X の行または Y の要素に 1 つ以上の NaN が含まれている場合、fitrsvm はその行および要素を両方の引数から削除します。

予測子の名前を X に表示される順序で指定するには、PredictorNames 名前と値のペアの引数を使用します。

データ型: single | double

名前と値のペアの引数

オプションの Name,Value の引数ペアをコンマ区切りで指定します。ここで、Name は引数名で、Value は対応する値です。Name は単一引用符 (' ') で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前/値のペア引数を、任意の順番で指定できます。

例: 'KernelFunction','gaussian','Standardize',true,'CrossVal','on' は、ガウス カーネルと標準化した学習データを使用して 10 分割の交差検証 SVM 回帰モデルを学習させます。

メモ

交差検証の名前と値のペアの引数を名前と値のペアの引数 'OptimizeHyperparameters' と同時に使用することはできません。'OptimizeHyperparameters' の場合の交差検証は、名前と値のペアの引数 'HyperparameterOptimizationOptions' を使用することのみによって変更できます。

サポート ベクター マシンのオプション

'BoxConstraint' — ボックス制約

正のスカラー値

アルファ係数のボックス制約。'BoxConstraint' と正のスカラー値から構成されるコンマ区切りのペアとして指定します。

Alpha 係数の絶対値が BoxConstraint の値を超えることはできません。

カーネル関数が 'gaussian' または 'rbf' の場合、BoxConstraint の既定値は iqr(Y)/1.349 です。iqr(Y) は、応答変数 Y の四分位数間範囲です。他のすべてのカーネルの場合、BoxConstraint の既定値は 1 です。

例: BoxConstraint,10

データ型: single | double

'KernelFunction' — カーネル関数

'linear' (既定値) | 'gaussian' | 'rbf' | 'polynomial' | 関数名

グラム行列の計算に使用するカーネル関数。'KernelFunction' と次の表の値から構成されるコンマ区切りのペアとして指定します。

値	説明	式
'gaussian' または 'rbf'	ガウスまたは放射基底関数 (RBF) カーネル	$$G\left(x_j,x_k\right)=\exp \left(-{\Vert x_j-x_k\Vert }^2\right)$$
'linear'	線形カーネル	$$G(x_j,x_k)=x_j\prime x_k$$
'polynomial'	多項式カーネル。'PolynomialOrder',p を使用して多項式カーネルの順序 (p) を指定します。	$$G(x_j,x_k)={(1+x_j\prime x_k)}^q$$

独自のカーネル関数を設定することもできます。たとえば、'KernelFunction','kernel' を設定すると kernel が設定されます。この kernel は次の形式でなければなりません。

function G = kernel(U,V)

ここで、

• U は、m 行 p 列の行列です。

• V は、n 行 p 列の行列です。

• G は、m 行 n 列で構成される、U と V の行のグラム行列です。

kernel.m は、MATLAB^® パス上になければなりません。

カーネル関数には一般的な名前を使用しないようにしてください。たとえば、シグモイド カーネル関数には 'sigmoid' ではなく 'mysigmoid' などの名前を使用します。

例: 'KernelFunction','gaussian'

データ型: char

'KernelScale' — カーネル スケール パラメーター

1 (既定値) | 'auto' | 正のスカラー

カーネル スケール パラメーター。'KernelScale' と、'auto' または正のスカラーで構成される、コンマ区切りのペアとして指定します。予測子行列 X のすべての要素が KernelScale の値で除算されます。その後、適切なカーネル ノルムが適用され、グラム行列が計算されます。

• 'auto' を指定した場合、ヒューリスティック手法を使用して適切なスケール係数が選択されます。このヒューリスティック手法ではサブサンプリングを使用するので、呼び出すたびに推定値が変化する可能性があります。このため、結果を再現するには、学習の前に rng を使用して乱数シードを設定します。

• 'KernelFunction','kernel' のように KernelScale と独自のカーネル関数を指定すると、エラーが発生します。kernel の内部でスケーリングを適用しなければなりません。

例: 'KernelScale','auto'

データ型: double | single | char

'PolynomialOrder' — 多項式カーネル関数の次数

3 (既定値) | 正の整数

多項式カーネル関数の次数。'PolynomialOrder' と正の整数から成るコンマ区切りのペアとして指定されます。

KernelFunction が 'polynomial' ではない場合に 'PolynomialOrder' を設定すると、エラーがスローされます。

例: 'PolynomialOrder',2

データ型: double | single

'KernelOffset' — カーネル オフセット パラメーター

非負のスカラー

カーネル オフセット パラメーター。'KernelOffset' と非負のスカラーで構成されるコンマ区切りのペアとして指定します。

KernelOffset がグラム行列の各要素に追加されます。

既定値は以下のとおりです。

• ソルバーが SMO の場合 (つまり、'Solver','SMO' を設定した場合) は 0

• ソルバーが ISDA の場合 (つまり、'Solver','ISDA' を設定した場合) は 0.1

例: 'KernelOffset',0

データ型: double | single

'Epsilon' — イプシロン不感応区間の幅の半分

iqr(Y)/13.49 (既定値) | 非負のスカラー値

イプシロン不感応区間の幅の半分。'Epsilon' と非負のスカラー値から構成されるコンマ区切りのペアとして指定します。

Epsilon の既定値は、iqr(Y)/13.49 です。これは、応答変数 Y の四分位数間範囲を使用した標準偏差の 1/10 の推定値です。iqr(Y) がゼロに等しい場合、Epsilon の既定値は 0.1 になります。

例: 'Epsilon',0.3

データ型: single | double

'Standardize' — 予測子データを標準化するためのフラグ

false (既定値) | true

予測子データを標準化するためのフラグ。'Standardize' と true (1) または false (0) から構成されるコンマ区切りのペアとして指定します。

'Standardize',true を設定した場合、次のようになります。

• 列の加重平均と標準偏差によって予測子データ (X) の各列がそれぞれセンタリングおよびスケーリングされます (重みを付けた標準化の詳細についてはアルゴリズムを参照してください)。MATLAB では、カテゴリカル予測子用に生成されたダミー変数の列に含まれているデータは標準化されません。

• モデルの学習には標準化された予測子行列が使用されますが、モデルの X プロパティには標準化されていないデータが格納されます。

例: 'Standardize',true

データ型: logical

'Solver' — 最適化ルーチン

'ISDA' | 'L1QP' | 'SMO'

最適化ルーチン。'Solver' と次の表の値から構成されるコンマ区切りのペアとして指定します。

値	説明
'ISDA'	反復単一データ アルゴリズム ([30] 参照)
'L1QP'	quadprog を使用して二次計画法による L1 ソフト マージン最小化を実装します。このオプションには Optimization Toolbox™ ライセンスが必要です。詳細は、二次計画法の定義 (Optimization Toolbox)を参照してください。
'SMO'	逐次最小最適化 ([17] 参照)

既定値は以下のとおりです。

• 'OutlierFraction' を正の値に設定した場合は 'ISDA'

• それ以外の場合は 'SMO'

例: 'Solver','ISDA'

データ型: char

'Alpha' — アルファ係数の初期推定値

数値ベクトル

アルファ係数の初期推定値。'Alpha' と数値ベクトルから構成されるコンマ区切りのペアとして指定します。Alpha の長さは X の行数と等価でなければなりません。

• Alpha の各要素は X の観測値に対応します。

• Alpha は NaN を格納できません。

• Alpha を交差検証の名前と値のペアの引数 ('CrossVal'、'CVPartition'、'Holdout'、'KFold' または 'Leaveout') のいずれかと同時に指定すると、エラーが返されます。

Y に欠損値が含まれている場合は、欠損値に対応するすべての行を Y、X および Alpha から削除してください。つまり、次のように入力します。

idx = ~isnan(Y);
Y = Y(idx);
X = X(idx,:);
alpha = alpha(idx);

そして、Y、X および alpha をそれぞれ応答値、予測子およびアルファの初期推定値として渡します。

既定の設定は、zeros(size(Y,1)) です。

例: 'Alpha',0.1*ones(size(X,1),1)

データ型: single | double

'CacheSize' — キャッシュ サイズ

1000 (既定値) | 'maximal' | 正のスカラー

キャッシュ サイズ。'CacheSize' と'maximal' または正のスカラーで構成されるコンマ区切りのペアとして指定します。

CacheSize が 'maximal' の場合、n 行 n 列 のグラム行列を保持できる十分なメモリが確保されます。

CacheSize が正のスカラーの場合、モデルの学習用に CacheSize メガバイトのメモリが確保されます。

例: 'CacheSize','maximal'

データ型: double | char | single

'ClipAlphas' — アルファ係数をクリップするためのフラグ

true (既定値) | false

アルファ係数をクリップするためのフラグ。'ClipAlphas' と true または false のいずれかから構成されるコンマ区切りのペアとして指定します。

観測値 j のアルファ係数が α_j、観測値 j のボックス制約が C_j であるとします (j = 1,...,n)。n は学習標本のサイズです。

値	説明
true	各反復で αj が 0 または Cj に近い場合、MATLAB で αj がそれぞれ 0 または Cj に設定されます。
false	最適化時に MATLAB でアルファ係数は変更されません。

MATLAB では、学習済みの SVM モデル オブジェクトの Alpha プロパティに最終的な α の値が格納されます。

ClipAlphas は、SMO と ISDA の収束に影響を与える可能性があります。

例: 'ClipAlphas',false

データ型: logical

'NumPrint' — 最適化診断メッセージ出力の反復回数

1000 (既定値) | 非負の整数

最適化診断メッセージ出力の反復回数。'NumPrint' と非負の整数で構成されるコンマ区切りのペアとして指定します。

'Verbose',1 と 'NumPrint',numprint を指定すると、numprint 回反復するたびに SMO と ISDA からのすべての最適化診断メッセージがコマンド ウィンドウに表示されます。

例: 'NumPrint',500

データ型: double | single

'OutlierFraction' — 学習データで想定される外れ値の比率

0 (既定値) | 区間 [0,1) の数値スカラー

学習データで想定される外れ値の比率。'OutlierFraction' と区間 [0,1) の数値スカラーから構成されるコンマ区切りのペアとして指定します。fitrsvm は勾配が大きい観測値を削除するので、収束に達するまでに、OutlierFraction で指定された比率の観測値を fitrsvm が削除することが保証されます。この名前と値のペアは、'Solver' が 'ISDA' の場合のみ有効です。

例: 'OutlierFraction',0.1

データ型: single | double

'RemoveDuplicates' — 重複する観測値を単一の観測値に置き換えるためのフラグ

false (既定値) | true

学習データ内の重複する観測値を単一の観測値に置き換えるためのフラグ。'RemoveDuplicates' と true または false から構成されるコンマ区切りのペアとして指定します。

RemoveDuplicates が true の場合、fitrsvm は学習データ内の重複する観測値を同じ値の単一の観測値に置き換えます。単一の観測値の重みは、削除された対応する重複の重みの合計に等しくなります (Weights を参照)。

ヒント

多数の重複する観測値がデータセットに含まれている場合は、'RemoveDuplicates',true を指定すると収束時間が大幅に短くなる可能性があります。

データ型: logical

'Verbose' — 詳細レベル

0 (既定値) | 1 | 2

詳細レベル。'Verbose' と 0、1 または 2 から構成されるコンマ区切りのペアとして指定します。Verbose の値は、コマンド ウィンドウに表示され構造体として Mdl.ConvergenceInfo.History に保存される最適化情報の量を制御します。

次の表は、使用できる詳細レベル オプションの一覧です。

値	説明
0	収束情報の表示や保存は行われません。
1	診断メッセージが表示され、numprint 回の反復ごとに収束基準が保存されます。ここで、numprint は名前と値のペアの引数 'NumPrint' の値です。
2	診断メッセージが表示され、1 回の反復ごとに収束基準が保存されます。

例: 'Verbose',1

データ型: double | single

他の回帰のオプション

'CategoricalPredictors' — カテゴリカル予測子のリスト

正の整数のベクトル | logical ベクトル | 文字行列 | 文字ベクトルの cell 配列 | 'all'

カテゴリカル予測子のリスト。'CategoricalPredictors' と次の表のいずれかの値から構成されるコンマ区切りのペアとして指定します。

値	説明
正の整数のベクトル	ベクトルのエントリは、カテゴリカル変数が含まれている予測子データ (X または Tbl) の列に対応するインデックス値です。
logical ベクトル	true というエントリは、予測子データ (X または Tbl) の対応する列がカテゴリカル変数であることを意味します。
文字行列	行列の各行は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。文字行列の各行が同じ長さになるように、名前を余分な空白で埋めてください。
文字ベクトルの cell 配列	配列の各要素は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。
'all'	すべての予測子がカテゴリカルです。

既定の設定では、予測子データがテーブル (Tbl) 内にあり、このテーブルに論理値、カテゴリカル値、または文字ベクトルの cell 配列が格納されている場合、fitrsvm は変数がカテゴリカルであると見なします。予測子データが行列 (X) である場合、fitrsvm はすべての予測子が連続的であると見なします。データが行列の場合にカテゴリカル予測子を確認するには、名前と値のペアの引数 'CategoricalPredictors' を使用します。

例: 'CategoricalPredictors','all'

データ型: single | double | logical | char | cell

'PredictorNames' — 予測子変数名

一意な文字ベクトルの cell 配列

予測子変数名。'PredictorNames' と一意な文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。'PredictorNames' の機能は、学習データの提供方法によって決まります。

• X と Y を指定した場合、'PredictorNames' を使用して X の名前で予測子変数を指定できます。

  • PredictorNames 内の名前の順序は、X の列の順序に一致しなければなりません。つまり、PredictorNames{1} は X(:,1) の名前、PredictorNames{2} は X(:,2) の名前であり、他も同様です。また、size(X,2) と numel(PredictorNames) は等しくなければなりません。

  • 既定では PredictorNames は {'x1','x2',...} です。

• Tbl が与えられた場合、'PredictorNames' を使用して学習に使用する予測子変数を選択できます。つまり、fitrsvm は PredictorNames の予測子変数と応答変数のみを学習で使用します。

  • PredictorNames は Tbl.Properties.VariableNames のサブセットでなければならず、応答変数の名前を含めることはできません。

  • 既定では、すべての予測子変数の名前が PredictorNames に格納されます。

  • 'PredictorNames' と formula のいずれか一方のみを使用して学習用の予測子を指定することをお勧めします。

例: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

データ型: cell

'ResponseName' — 応答変数名

'Y' (既定値) | 文字ベクトル

応答変数の名前。'ResponseName' と文字ベクトルから構成されるコンマ区切りのペアとして指定します。

• Y を指定した場合、'ResponseName' を使用して応答変数の名前を指定できます。

• ResponseVarName または formula を指定した場合、'ResponseName' を使用することはできません。

例: 'ResponseName','response'

データ型: char

'ResponseTransform' — 応答の変換

'none' (既定値) | 関数ハンドル

応答の変換。'ResponseTransform' と 'none' または関数ハンドルのいずれかから構成されるコンマ区切りのペアとして指定します。既定の設定は 'none' です。これは @(y)y、つまり変換なしを表します。MATLAB 関数またはユーザー定義関数の場合は、関数ハンドルを使用します。関数ハンドルは、ベクトル (元の応答値) を受け入れて同じサイズのベクトル (変換した応答値) を返さなければなりません。

例: myfunction = @(y)exp(y) を使用して、指数変換を入力ベクトルに適用する関数のハンドルを作成するとします。この場合、応答変換として 'ResponseTransform',myfunction を指定できます。

データ型: char | 関数ハンドル

'Weights' — 観測値の重み

ones(size(X,1),1) (既定値) | 数値ベクトル

観測値の重み。'Weights' と数値ベクトルから構成されるコンマ区切りのペアとして指定します。Weights のサイズは X の行数と等しくなければなりません。fitrsvm は、合計が 1 になるように Weights の値を正規化します。

データ型: single | double

交差検証オプション

'CrossVal' — 交差検証フラグ

'off' (既定値) | 'on'

交差検証フラグ。'CrossVal' と、'on' または 'off' で構成されるコンマ区切りのペアとして指定します。

'on' を指定した場合、10 分割の交差検証が実施されます。

この交差検証の設定をオーバーライドするには、名前と値のペアの引数 CVPartition、Holdout、KFold、Leaveout のいずれかを使用します。交差検証済みモデルを作成するために使用できる交差検証の名前と値のペアの引数は、一度に 1 つだけです。

または、crossval メソッドを使用して後からモデルの交差検証を行うことができます。

例: 'CrossVal','on'

'CVPartition' — 交差検証分割

[] (既定値) | cvpartition 分割オブジェクト

交差検証分割。'CVPartition' と cvpartition により作成された cvpartition 分割オブジェクトで構成されるコンマ区切りのペアとして指定します。分割オブジェクトは、交差検証のタイプと、学習セットおよび検証セットのインデックス付けを指定します。

交差検証済みモデルの作成に使用できる名前と値のペアの引数は、'CVPartition'、'Holdout'、'KFold'、'Leaveout' の 4 つのうちのいずれかのみです。

例: cvp = cvpartition(500,'KFold',5) を使用して、500 個の観測値に対する 5 分割交差検証について無作為な分割を作成するとします。この場合、'CVPartition',cvp を使用して交差検証済みモデルを指定できます。

'Holdout' — ホールドアウト検定の対象データの比率

(0,1) の範囲のスカラー値

ホールドアウト検定に使用されるデータの比率。'Holdout' と範囲 (0,1) のスカラー値から構成されるコンマ区切りのペアとして指定します。'Holdout',p を指定した場合、以下の手順が実行されます。

1. p*100% のデータを無作為に選択して検証データとして確保し、残りのデータを使用してモデルに学習をさせる。

2. コンパクトな学習済みモデルを交差検証済みモデルの Trained プロパティに格納する。

交差検証済みモデルの作成に使用できる名前と値のペアの引数は、CVPartition、Holdout、KFold、Leaveout の 4 つのうちのいずれかのみです。

例: 'Holdout',0.1

データ型: double | single

'KFold' — 分割の数

10 (既定値) | 1 より大きい正の整数値

交差検証済みモデルで使用する分割数。'KFold' と 1 より大きい正の整数から構成されるコンマ区切りのペアとして指定します。'KFold',k を指定した場合、以下の手順が実行されます。

1. データを無作為に k 個のセットに分割する。

2. 各セットについて、そのセットを検定データとして確保し、他の k - 1 個のセットを使用してモデルに学習をさせる。

3. k 個のコンパクトな学習済みモデルを、交差検証済みモデルの Trained プロパティに含まれている k 行 1 列の cell ベクトルのセルに格納する。

交差検証済みモデルの作成に使用できる名前と値のペアの引数は、CVPartition、Holdout、KFold、Leaveout の 4 つのうちのいずれかのみです。

例: 'KFold',5

データ型: single | double

'Leaveout' — Leave-one-out 法の交差検証のフラグ

'off' (既定値) | 'on'

Leave-one-out 法の交差検証のフラグ。'Leaveout' と 'on' または 'off' で構成されるコンマ区切りのペアとして指定します。'Leaveout','on' を指定した場合、n 個の観測値 (n はモデルの NumObservations プロパティの値) のそれぞれについて以下の手順が実行されます。

1. その観測値を検証データとして確保し、他の n - 1 個の観測値を使用してモデルに学習をさせる。

2. n 個のコンパクトな学習済みモデルを、交差検証済みモデルの Trained プロパティに含まれている n 行 1 列の cell ベクトルのセルに格納する。

交差検証済みモデルの作成に使用できる名前と値のペアの引数は、CVPartition、Holdout、KFold、Leaveout の 4 つのうちのいずれかのみです。

例: 'Leaveout','on'

データ型: char

収束制御

'DeltaGradientTolerance' — 勾配差分の許容誤差

0 (既定値) | 非負のスカラー

SMO または ISDA で取得した上位の違反値と下位の違反値の間の勾配差分の許容誤差。'DeltaGradientTolerance' と非負のスカラーから構成されるコンマ区切りのペアとして指定します。

例: 'DeltaGradientTolerance',1e-4

データ型: single | double

'GapTolerance' — 実行可能性ギャップの許容誤差

1e-3 (既定値) | 非負のスカラー

SMO または ISDA により取得された実行可能性ギャップの許容誤差。'GapTolerance' と非負のスカラーで構成されるコンマ区切りのペアとして指定します。

GapTolerance が 0 の場合、fitrsvm はこのパラメーターを収束のチェックに使用しません。

例: 'GapTolerance',1e-4

データ型: single | double

'IterationLimit' — 数値最適化反復の最大回数

1e6 (既定値) | 正の整数

数値最適化反復の最大回数。'IterationLimit' と正の整数値で構成されるコンマ区切りのペアとして指定します。

最適化ルーチンが正常に収束したかどうかに関係なく、学習済みのモデルが返されます。Mdl.ConvergenceInfo に収束情報が格納されます。

例: 'IterationLimit',1e8

データ型: double | single

'KKTTolerance' — KKT 違反の許容誤差

0 | 非負のスカラー値

カルーシュ・キューン・タッカー (KKT) 違反の許容誤差。'KKTTolerance' と非負のスカラー値から構成されるコンマ区切りのペアとして指定します。

この名前と値のペアは、'Solver' が 'SMO' または 'ISDA' の場合のみ適用されます。

KKTTolerance が 0 の場合、fitrsvm はこのパラメーターを収束のチェックに使用しません。

例: 'KKTTolerance',1e-4

データ型: single | double

'ShrinkagePeriod' — アクティブ セットの縮小間の反復数

0 (既定値) | 非負の整数

アクティブ セットの縮小間の反復回数。'ShrinkagePeriod' と非負の整数から構成されるコンマ区切りのペアとして指定します。

'ShrinkagePeriod',0 を設定すると、アクティブ セットは縮小されません。

例: 'ShrinkagePeriod',1000

データ型: double | single

ハイパーパラメーターの最適化

'OptimizeHyperparameters' — 最適化するパラメーター

'none' (既定値) | 'auto' | 'all' | 使用可能パラメーター名の cell 配列 | optimizableVariable オブジェクトのベクトル

最適化するパラメーター。次のいずれかを指定します。

• 'none' — 最適化を行いません。

• 'auto' — {'BoxConstraint','KernelScale','Epsilon'} を使用します。

• 'all' — すべての使用可能パラメーターを最適化します。

• 使用可能パラメーター名の cell 配列

• optimizableVariable オブジェクトのベクトル。通常は hyperparameters の出力です。

最適化では、パラメーターを変化させることにより、fitrsvm の交差検証損失 (誤差) を最小化しようとします。交差検証のタイプおよびその他の最適化の側面を制御するには、名前と値のペア HyperparameterOptimizationOptions を使用します。

メモ

OptimizeHyperparameters の値は、他の名前と値のペアの引数を使用して設定した値より優先されます。たとえば、OptimizeHyperparameters を 'auto' に設定すると、'auto' の値が適用されます。

fitrsvm では、以下のパラメーターを使用できます。

• BoxConstraint — fitrsvm は、既定では範囲 [1e-3,1e3] の対数スケールで、正の値を探索します。

• KernelScale — fitrsvm は、既定では範囲 [1e-3,1e3] の対数スケールで、正の値を探索します。

• Epsilon — fitrsvm は、既定では範囲 [1e-3*ResponseIqr/1.349,1e2*ResponseIqr/1.349] の対数スケールで、正の値を探索します。

• KernelFunction — fitrsvm は、'gaussian'、'linear' および 'polynomial' で探索します。

• PolynomialOrder — fitrsvm は、範囲 [2,4] の整数値を探索します。

• Standardize — fitrsvm は、'true' と 'false' で探索します。

既定以外のパラメーターを設定するには、既定以外の値が含まれている optimizableVariable オブジェクトのベクトルを渡します。例えば、

load carsmall
params = hyperparameters('fitrsvm',[Horsepower,Weight],MPG);
params(1).Range = [1e-4,1e6];

OptimizeHyperparameters の値として params を渡します。

既定では、コマンド ラインに反復表示が表示され、最適化のハイパーパラメーターの個数に従ってプロットが表示されます。最適化とプロットにおける目的関数は、回帰の場合は log(1 + 交差検証損失)、分類の場合は誤分類率です。反復表示を制御するには、名前と値のペアの引数 'HyperparameterOptimizationOptions' の Verbose フィールドを設定します。プロットを制御するには、名前と値のペアの引数 'HyperparameterOptimizationOptions' の ShowPlots フィールドを設定します。

例については、SVM 回帰の最適化を参照してください。

例: 'auto'

データ型: char | cell

'HyperparameterOptimizationOptions' — 最適化のオプション

構造体

最適化のオプション。'HyperparameterOptimizationOptions' と構造体から構成されるコンマ区切りのペアとして指定します。この引数を指定すると、名前と値のペアの引数 OptimizeHyperparameters の効果が変化します。この構造体のフィールドは、すべてオプションです。

フィールド名	値	既定の設定
Optimizer	'bayesopt' — ベイズ最適化を使用。内部的には bayesopt が呼び出されます。 'gridsearch' — 次元ごとに NumGridDivisions の値があるグリッド探索を使用。 'randomsearch' — MaxObjectiveEvaluations 個の点で無作為に探索。 'gridsearch' では、グリッドからの一様な非復元抽出により、無作為な順序で探索します。最適化後、sortrows(Mdl.HyperparameterOptimizationResults) コマンドを使用してグリッド順のテーブルを取得できます。	'bayesopt'
AcquisitionFunctionName	'expected-improvement-per-second-plus' 'expected-improvement' 'expected-improvement-plus' 'expected-improvement-per-second' 'lower-confidence-bound' 'probability-of-improvement' 詳細については、bayesopt の名前と値のペアの引数 AcquisitionFunctionName または獲得関数のタイプを参照してください。	'expected-improvement-per-second-plus'
MaxObjectiveEvaluations	目的関数評価の最大数。	'bayesopt' または 'randomsearch' の場合は 30、'gridsearch' の場合はグリッド全体
MaxTime	制限時間。正の実数を指定します。制限時間の単位は、tic と toc によって測定される秒です。MaxTime は関数評価を中断させないため、実行時間が MaxTime を超える可能性があります。	Inf
NumGridDivisions	'gridsearch' における各次元の値の個数。値は、各次元の値の個数を表す正の整数のベクトル、またはすべての次元に適用されるスカラーが可能です。カテゴリカル変数の場合、このフィールドは無視されます。	10
ShowPlots	プロットを表示するかどうかを示す論理値。true の場合、最良の目的関数の値が反復回数に対してプロットされます。1 つまたは 2 つの最適化パラメーターがあり、Optimizer が 'bayesopt' である場合、ShowPlots はパラメーターに対する目的関数のモデルのプロットも行います。	true
SaveIntermediateResults	Optimizer が 'bayesopt' である場合に結果を保存するかどうかを示す論理値。true の場合、'BayesoptResults' という名前のワークスペース変数が反復ごとに上書きされます。この変数は BayesianOptimization オブジェクトです。	false
Verbose	コマンド ラインへの表示。 0 — 反復表示なし 1 — 反復表示あり 2 — 追加情報付きで反復表示あり 詳細については、bayesopt の名前と値のペアの引数 Verbose を参照してください。	1
UseParallel	ベイズ最適化を並列実行するかどうかを示す論理値。並列実行には Parallel Computing Toolbox™ が必要です。詳細については、並列ベイズ最適化を参照してください。	false
Repartition	反復ごとに交差検証を再分割するかどうかを示す論理値。false の場合、オプティマイザーは単一の分割を最適化に使用します。 分割ノイズが考慮されるので、通常は true にすると最も確実な結果が得られます。ただし、true で良好な結果を得るには、2 倍以上の関数評価が必要になります。	false
以下の 3 つのフィールド名は 1 つだけ使用できます。
CVPartition	cvpartition によって作成される cvpartition オブジェクト。	交差検証フィールドが指定されていない場合 'Kfold',5
Holdout	ホールドアウトの比率を表す範囲 (0,1) のスカラー。
Kfold	1 より大きい整数。

例: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',60)

データ型: 構造体

出力引数

Mdl — 学習済みの SVM 回帰モデル

RegressionSVM モデル | RegressionPartitionedSVM 交差検証済みモデル

学習済みの SVM 回帰モデル。RegressionSVM モデルまたは RegressionPartitionedSVM 交差検証済みモデルとして返されます。

以下の名前と値のペアの引数のうちいずれかが設定されている場合、Mdl は RegressionPartitionedSVM 交差検証済みモデルとなります。KFold、Holdout、Leaveout、CrossVal または CVPartition。それ以外の場合、Mdl は RegressionSVM モデルです。

制限

fitrsvm は、低～中次元のデータセットをサポートします。高次元データセットの場合は、代わりに fitrlinear を使用してください。

ヒント

• データセットが大規模でない限り、常に予測子を標準化してください (Standardize を参照してください)。標準化を行うと、予測子を測定するスケールの影響を受けなくなります。

• 名前と値のペアの引数 KFold を使用して交差検証を行うことをお勧めします。交差検証の結果により、SVM モデルがどの程度一般化を行うかを判断します。

• SVM モデルでは、サポート ベクターの密度が低い方が望ましい状態です。サポート ベクターの数を少なくするには、名前と値のペアの引数 BoxConstraint を大きい値に設定します。このようにすると、学習時間も長くなります。

• 学習時間を最適にするには、使用しているコンピューターで許容されるメモリの制限に近い値まで CacheSize を大きくします。

• サポート ベクターの個数が学習セット内の観測値数よりはるかに少ないと考えられる場合、名前と値のペアの引数 'ShrinkagePeriod' を使用してアクティブ セットを縮小すると、収束を大幅に高速化することができます。'ShrinkagePeriod',1000 の使用をお勧めします。

• 回帰直線から離れている重複する観測値は、収束に影響を与えません。しかし、重複する観測値が回帰直線の近くに少しでもあると、収束が大幅に遅くなる可能性があります。収束を高速化するには、次の場合に 'RemoveDuplicates',true を指定します。

  • 多数の重複する観測値がデータセットに含まれている。

  • 少数の重複する観測値が回帰直線の近くにあると考えられる。

  ただし、学習時に元のデータセットを維持するため、fitrsvm は複数のデータセット、つまり元のデータセットと重複する観測値を除外したデータセットを一時的に格納しなければなりません。このため、重複がほとんど含まれていないデータセットの場合に true を指定すると、fitrsvm は元のデータの場合の 2 倍に近いメモリを消費します。

• fitrsvm を使用して RegressionSVM モデル オブジェクトに学習をさせた後で、関数 predict と学習済みのモデル オブジェクトを使用して、新しいデータについて応答を予測する C コードを生成します。詳細については、コード生成を参照してください。

アルゴリズム

• 線形および非線形 SVM 回帰問題の数学的定式化およびソルバーのアルゴリズムについては、サポート ベクター マシン回帰についてを参照してください。

• NaN、<undefined> および空の文字ベクトル ('') の値は、欠損値を示します。fitrsvm は、欠損応答に対応するデータ行全体を削除します。fitrsvm は、重みを正規化するときに、欠損している予測子が 1 つ以上ある観測値に対応する重みを無視します。したがって、観測値のボックス制約が BoxConstraint に等しくならない可能性があります。

• fitrsvm は、重みがゼロの観測値を削除します。

• 'Standardize',true と 'Weights' を設定した場合、fitrsvm は対応する加重平均および加重標準偏差を使用して予測子を標準化します。つまり、fitrsvm は以下を使用して予測子 j (x_j) を標準化します。

  $$x_j^{\ast }=\frac{x_j-{\mu }_j^{\ast }}{{\sigma }_j^{\ast }}.$$

  • $${\mu }_j^{\ast }=\frac{1}{{\displaystyle \sum _k{w}_k}}{\displaystyle \sum _k{w}_k{x}_{jk}}.$$

  • x_jk は、予測子 j (列) の観測値 k (行) です。

  • $${\left({\sigma }_j^{\ast }\right)}^2=\frac{v_1}{v_1^2-v_2}{\displaystyle \sum _k{w}_k{\left(x_{jk}-{\mu }_j^{\ast }\right)}^2}.$$

  • $$v_1={\displaystyle \sum _j{w}_j}.$$

  • $$v_2={\displaystyle \sum _j{\left(w_j\right)}^2}.$$

• 予測子データにカテゴリカル変数が含まれている場合、一般にこれらの変数について完全なダミー エンコードが使用されます。各カテゴリカル変数の各レベルについて、1 つずつダミー変数が作成されます。

  • PredictorNames プロパティには、元の予測子変数名のそれぞれについて 1 つずつ要素が格納されます。たとえば、3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、PredictorNames は元の予測子変数名が含まれている 1 行 3 列の文字ベクトルの cell 配列になります。

  • ExpandedPredictorNames プロパティには、ダミー変数を含む予測子変数のそれぞれについて 1 つずつ要素が格納されます。たとえば、3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、ExpandedPredictorNames は予測子変数および新しいダミー変数の名前が含まれている 1 行 5 列の文字ベクトルの cell 配列になります。

  • 同様に、Beta プロパティには、ダミー変数を含む各予測子について 1 つずつベータ係数が格納されます。

  • SupportVectors プロパティには、ダミー変数を含むサポート ベクターの予測子の値が格納されます。たとえば、m 個のサポート ベクターと 3 つの予測子があり、そのうちの 1 つは 3 つのレベルがあるカテゴリカル変数であるとします。この場合、SupportVectors は m 行 5 列の行列になります。

  • X プロパティには、はじめに入力した状態で学習データが格納されます。ダミー変数は含まれません。入力がテーブルの場合、X には予測子として使用した列のみが格納されます。

• テーブルで予測子を指定した場合、いずれかの変数に順序付きのカテゴリが含まれていると、これらの変数について順序付きエンコードが使用されます。

  • k 個の順序付きレベルが変数に含まれている場合、k - 1 個のダミー変数が作成されます。j 番目のダミー変数は、j までのレベルについては -1、j + 1 から k までのレベルについては +1 になります。

  • ExpandedPredictorNames プロパティに格納されるダミー変数の名前は 1 番目のレベルを示し、値は +1 になります。レベル 2, 3, ..., k の名前を含む k - 1 個の追加予測子名がダミー変数について格納されます。

• どのソルバーも L1 ソフト マージン最小化を実装します。

• 学習データで想定される外れ値の比率を p とします。'OutlierFraction',p を設定した場合、"ロバスト学習" が実施されます。この方式では、最適化アルゴリズムが収束すると、観測値のうち 100p% の削除が試行されます。削除された観測値は、勾配の大きいものに対応します。

参照

[1] Clark, D., Z. Schreter, A. Adams. A Quantitative Comparison of Dystal and Backpropagation, submitted to the Australian Conference on Neural Networks, 1996.

[2] Fan, R.-E., P.-H. Chen, and C.-J. Lin. “Working set selection using second order information for training support vector machines.” Journal of Machine Learning Research, Vol 6, 2005, pp. 1889–1918.

[3] Kecman V., T. -M. Huang, and M. Vogt. “Iterative Single Data Algorithm for Training Kernel Machines from Huge Data Sets: Theory and Performance.” In Support Vector Machines: Theory and Applications. Edited by Lipo Wang, 255–274. Berlin: Springer-Verlag, 2005.

[4] Lichman, M. UCI Machine Learning Repository, [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

[5] Nash, W.J., T. L. Sellers, S. R. Talbot, A. J. Cawthorn, and W. B. Ford. The Population Biology of Abalone (Haliotis species) in Tasmania. I. Blacklip Abalone (H. rubra) from the North Coast and Islands of Bass Strait, Sea Fisheries Division, Technical Report No. 48, 1994.

[6] Waugh, S. Extending and benchmarking Cascade-Correlation, Ph.D. thesis, Computer Science Department, University of Tasmania, 1995.

参考

CompactRegressionSVM | RegressionPartitionedSVM | RegressionSVM | predict

トピック

• サポート ベクター マシン回帰について

R2015b で導入