Main Content

このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

fitrauto

最適化されたハイパーパラメーターをもつ回帰モデルの自動選択

説明

fitrauto は、指定した予測子と応答データに基づいて、さまざまなハイパーパラメーターの値をもつ回帰モデルのタイプの選択を自動的に試します。この関数は、ベイズ最適化を使用してモデルとそのハイパーパラメーターの値を選択し、各モデルについて log(1 + valLoss) を計算します。ここで、valLoss は交差検証の平均二乗誤差 (MSE) です。最適化が完了すると、fitrauto は、データ セット全体で学習済みの、新しいデータについての応答が最も優れているとされるモデルを返します。返されたモデルのオブジェクト関数 predictloss を使用して、新しいデータの予測、および検定セット MSE の計算をそれぞれ行うことができます。

データに最適なモデルのタイプがわからない場合は、fitrauto を使用します。回帰モデルのハイパーパラメーターを調整するための代替方法については、代替機能を参照してください。

Mdl = fitrauto(Tbl,ResponseVarName) は、調整されたハイパーパラメーターをもつ回帰モデル Mdl を返します。テーブル Tbl には予測子変数と応答変数を格納します。ResponseVarName は応答変数の名前です。

Mdl = fitrauto(Tbl,formula) は、formula を使用して、Tbl に含まれる変数から検討対象とする応答変数と予測子変数を指定します。

Mdl = fitrauto(Tbl,Y) は、テーブル Tbl 内の予測子変数とベクトル Y 内の応答値を使用します。

Mdl = fitrauto(X,Y) は、行列 X 内の予測子変数とベクトル Y 内の応答値を使用します。

Mdl = fitrauto(___,Name,Value) では、前の構文におけるいずれかの入力引数の組み合わせに加えて、1 つ以上の名前と値のペアの引数を使用してオプションを指定します。たとえば、名前と値のペアの引数 HyperparameterOptimizationOptions を使用して、ベイズ最適化を実行する方法を指定します。

[Mdl,OptimizationResults] = fitrauto(___) は、OptimizationResults も返します。これは、モデル選択とハイパーパラメーター調整のプロセスの結果が格納された BayesianOptimization オブジェクトです。

すべて折りたたむ

fitrauto を使用し、table に保存されている予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ回帰モデルを自動的に選択します。

データの読み込み

carbig データセットを読み込みます。このデータセットには、1970 年代と 1980 年代初期に製造された自動車の測定値が格納されています。

load carbig

AccelerationDisplacement などの予測子変数と応答変数 MPG が格納された table を作成します。

cars = table(Acceleration,Displacement,Horsepower, ...
    Model_Year,Origin,Weight,MPG);

データの分割

データを学習セットと検定セットに分割します。モデル選択とハイパーパラメーター調整のプロセスに観測値の約 80% を使用し、fitrauto によって返された最終モデルのパフォーマンスのテストに観測値の 20% を使用します。cvpartition を使用してデータを分割します。

rng('default') % For reproducibility of the data partition
c = cvpartition(length(MPG),'Holdout',0.2);
trainingIdx = training(c); % Training set indices
carsTrain = cars(trainingIdx,:);
testIdx = test(c); % Test set indices
carsTest = cars(testIdx,:);

fitrauto の実行

学習データを fitrauto に渡します。既定では、fitrauto は、試行する適切なモデルのタイプを決定し、ベイズ最適化を使用して適切なハイパーパラメーター値を求め、パフォーマンスが最大となることが期待される学習済みモデル Mdl を返します。さらに、fitrauto は、最適化のプロット、および最適化の結果の反復表示を提供します。これらの結果を解釈する方法の詳細については、Verbose の表示を参照してください。

このプロセスにいくらか時間がかかることを見込んでください。Parallel Computing Toolbox™ のライセンスがある場合、最適化を並列で実行し、最適化プロセスを高速化することを検討してください。これを行うには、名前と値のペアの引数 'HyperparameterOptimizationOptions',struct('UseParallel',true)fitrauto に渡します。

Mdl = fitrauto(carsTrain,'MPG');
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf

|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|    1 | Best   |           2.5161 |            1.4197 |           2.5161 |           2.5161 |         tree | MinLeafSize:              6 |
|    2 | Accept |           4.1439 |           0.68799 |           2.5161 |           2.5161 |          svm | BoxConstraint:       336.91 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0018275 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.1074 |
|    3 | Accept |            4.144 |            5.5942 |           2.5161 |           2.5161 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      257 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:            156 |
|    4 | Accept |           3.1976 |            20.387 |           2.5161 |           2.5161 |          svm | BoxConstraint:     0.033502 |
|      |        |                  |                   |                  |                  |              | KernelScale:         153.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.093672 |
|    5 | Best   |           2.5041 |           0.13106 |           2.5041 |           2.5101 |         tree | MinLeafSize:              5 |
|    6 | Best   |           2.2096 |            7.0177 |           2.2096 |           2.5101 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|    7 | Accept |           2.7182 |          0.085053 |           2.2096 |           2.5057 |         tree | MinLeafSize:              1 |
|    8 | Accept |           17.207 |            23.312 |           2.2096 |           2.5057 |          svm | BoxConstraint:       196.73 |
|      |        |                  |                   |                  |                  |              | KernelScale:         34.789 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.03716 |
|    9 | Accept |           4.1439 |          0.057226 |           2.2096 |           2.5057 |          svm | BoxConstraint:       346.92 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.032493 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.23974 |
|   10 | Best   |           2.1916 |            6.4368 |           2.1916 |           2.5057 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      278 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   11 | Accept |           2.8889 |            0.1325 |           2.1916 |           2.5057 |          svm | BoxConstraint:     0.033068 |
|      |        |                  |                   |                  |                  |              | KernelScale:         585.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:             4.6993 |
|   12 | Accept |           4.1439 |           0.06362 |           2.1916 |           2.5057 |          svm | BoxConstraint:       48.997 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0045904 |
|      |        |                  |                   |                  |                  |              | Epsilon:             18.085 |
|   13 | Accept |           4.1439 |          0.048941 |           2.1916 |           2.5057 |          svm | BoxConstraint:       985.69 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0010988 |
|      |        |                  |                   |                  |                  |              | Epsilon:             449.48 |
|   14 | Accept |           2.2844 |            6.7538 |           2.1916 |           2.4806 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             63 |
|   15 | Accept |           4.1439 |          0.054943 |           2.1916 |           2.4806 |          svm | BoxConstraint:     0.010812 |
|      |        |                  |                   |                  |                  |              | KernelScale:         1.2015 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.034209 |
|   16 | Accept |           4.1439 |          0.055455 |           2.1916 |           2.4806 |          svm | BoxConstraint:    0.0021787 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.018209 |
|      |        |                  |                   |                  |                  |              | Epsilon:             443.71 |
|   17 | Accept |           2.2075 |            6.7931 |           2.1916 |           2.1942 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   18 | Accept |           2.6056 |           0.08425 |           2.1916 |           2.1942 |         tree | MinLeafSize:              2 |
|   19 | Accept |           2.6056 |          0.087135 |           2.1916 |           2.1942 |         tree | MinLeafSize:              2 |
|   20 | Accept |           2.7182 |          0.062848 |           2.1916 |           2.1942 |         tree | MinLeafSize:              1 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   21 | Accept |           2.2402 |            6.8909 |           2.1916 |           2.2011 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      282 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   22 | Accept |           2.6056 |          0.059067 |           2.1916 |           2.2011 |         tree | MinLeafSize:              2 |
|   23 | Accept |           2.3016 |            4.8177 |           2.1916 |           2.1911 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      202 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|   24 | Accept |           4.1439 |           0.05258 |           2.1916 |           2.1911 |          svm | BoxConstraint:       37.028 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.033731 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.2457 |
|   25 | Accept |            3.352 |          0.043391 |           2.1916 |           2.1911 |         tree | MinLeafSize:            122 |
|   26 | Accept |           4.1439 |          0.062799 |           2.1916 |           2.1911 |          svm | BoxConstraint:      0.01045 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0024261 |
|      |        |                  |                   |                  |                  |              | Epsilon:             12.355 |
|   27 | Accept |           2.3188 |            5.1633 |           2.1916 |           2.1884 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      212 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   28 | Accept |           2.4271 |            5.8444 |           2.1916 |           2.1908 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      247 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             83 |
|   29 | Accept |           2.6056 |           0.05574 |           2.1916 |           2.1908 |         tree | MinLeafSize:              2 |
|   30 | Accept |           4.1439 |          0.054692 |           2.1916 |           2.1908 |          svm | BoxConstraint:       2.1296 |
|      |        |                  |                   |                  |                  |              | KernelScale:         3.2623 |
|      |        |                  |                   |                  |                  |              | Epsilon:             599.62 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   31 | Accept |           2.5241 |          0.051793 |           2.1916 |           2.1908 |         tree | MinLeafSize:              8 |
|   32 | Accept |           2.6443 |            5.2572 |           2.1916 |           2.1969 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      229 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             52 |
|   33 | Accept |           2.2537 |             5.641 |           2.1916 |           2.1931 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      235 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   34 | Accept |           2.5448 |          0.053688 |           2.1916 |           2.1931 |         tree | MinLeafSize:             19 |
|   35 | Accept |           2.4438 |          0.045817 |           2.1916 |           2.1931 |         tree | MinLeafSize:             13 |
|   36 | Accept |           2.7182 |          0.062646 |           2.1916 |           2.1931 |         tree | MinLeafSize:              1 |
|   37 | Accept |           2.4749 |          0.048072 |           2.1916 |           2.1931 |         tree | MinLeafSize:              9 |
|   38 | Accept |           13.083 |            31.488 |           2.1916 |           2.1931 |          svm | BoxConstraint:       5.2568 |
|      |        |                  |                   |                  |                  |              | KernelScale:         10.811 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.073361 |
|   39 | Accept |           2.2446 |            5.2866 |           2.1916 |           2.1952 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      214 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|   40 | Accept |           3.0919 |          0.040315 |           2.1916 |           2.1952 |         tree | MinLeafSize:             62 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   41 | Accept |           2.6335 |            6.4626 |           2.1916 |           2.1926 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      280 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             45 |
|   42 | Accept |           4.1439 |          0.048186 |           2.1916 |           2.1926 |          svm | BoxConstraint:     0.093799 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0053728 |
|      |        |                  |                   |                  |                  |              | Epsilon:             17.332 |
|   43 | Accept |           2.8766 |          0.075435 |           2.1916 |           2.1926 |          svm | BoxConstraint:      0.20553 |
|      |        |                  |                   |                  |                  |              | KernelScale:         880.29 |
|      |        |                  |                   |                  |                  |              | Epsilon:             4.5637 |
|   44 | Accept |           2.2402 |            5.6507 |           2.1916 |           2.1944 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      233 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   45 | Accept |           2.4576 |            5.4632 |           2.1916 |           2.1928 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      232 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             27 |
|   46 | Accept |            3.003 |          0.069043 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0010563 |
|      |        |                  |                   |                  |                  |              | KernelScale:         527.21 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.010074 |
|   47 | Accept |           4.1439 |           0.05544 |           2.1916 |           2.1928 |          svm | BoxConstraint:       1.6452 |
|      |        |                  |                   |                  |                  |              | KernelScale:         880.96 |
|      |        |                  |                   |                  |                  |              | Epsilon:             656.96 |
|   48 | Accept |           11.118 |            31.888 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.001029 |
|      |        |                  |                   |                  |                  |              | KernelScale:         25.502 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.22713 |
|   49 | Accept |           3.0019 |          0.064077 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.012054 |
|      |        |                  |                   |                  |                  |              | KernelScale:         976.62 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.013474 |
|   50 | Accept |           4.1439 |          0.069826 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.045381 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.030659 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.021441 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   51 | Accept |           4.1439 |          0.050005 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.090287 |
|      |        |                  |                   |                  |                  |              | KernelScale:         69.941 |
|      |        |                  |                   |                  |                  |              | Epsilon:             125.56 |
|   52 | Accept |           4.1439 |          0.054745 |           2.1916 |           2.1928 |          svm | BoxConstraint:       285.67 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.14938 |
|      |        |                  |                   |                  |                  |              | Epsilon:             764.19 |
|   53 | Accept |           2.8779 |           0.11876 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.064002 |
|      |        |                  |                   |                  |                  |              | KernelScale:         969.91 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.46473 |
|   54 | Accept |           12.921 |            18.315 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.019899 |
|      |        |                  |                   |                  |                  |              | KernelScale:         50.528 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0091628 |
|   55 | Accept |           2.9117 |          0.076534 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.028436 |
|      |        |                  |                   |                  |                  |              | KernelScale:         919.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.2395 |
|   56 | Accept |           3.0276 |          0.064801 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0073097 |
|      |        |                  |                   |                  |                  |              | KernelScale:         898.72 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.088715 |
|   57 | Accept |           7.1555 |             20.87 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.07913 |
|      |        |                  |                   |                  |                  |              | KernelScale:         100.43 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.78937 |
|   58 | Accept |           2.9075 |          0.077548 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.03913 |
|      |        |                  |                   |                  |                  |              | KernelScale:         956.28 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.1315 |
|   59 | Accept |           2.9168 |          0.068648 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.033583 |
|      |        |                  |                   |                  |                  |              | KernelScale:         973.75 |
|      |        |                  |                   |                  |                  |              | Epsilon:             2.1404 |
|   60 | Accept |           4.1439 |          0.053635 |           2.1916 |           2.1928 |          svm | BoxConstraint:       0.1278 |
|      |        |                  |                   |                  |                  |              | KernelScale:         899.12 |
|      |        |                  |                   |                  |                  |              | Epsilon:             36.993 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   61 | Accept |           2.9456 |          0.073895 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.022705 |
|      |        |                  |                   |                  |                  |              | KernelScale:         995.04 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.21977 |
|   62 | Accept |           4.1439 |           0.04979 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0047868 |
|      |        |                  |                   |                  |                  |              | KernelScale:         0.1518 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.042601 |
|   63 | Accept |           2.9095 |          0.065115 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.033402 |
|      |        |                  |                   |                  |                  |              | KernelScale:         989.34 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.3073 |
|   64 | Accept |           4.1439 |          0.065248 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.056303 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.29988 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.10313 |
|   65 | Accept |           4.1439 |          0.050181 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0040769 |
|      |        |                  |                   |                  |                  |              | KernelScale:         238.59 |
|      |        |                  |                   |                  |                  |              | Epsilon:             32.573 |
|   66 | Accept |           2.6802 |            2.1221 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.11739 |
|      |        |                  |                   |                  |                  |              | KernelScale:         555.21 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.048956 |
|   67 | Accept |           4.1439 |          0.055315 |           2.1916 |           2.1928 |          svm | BoxConstraint:       772.51 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.016887 |
|      |        |                  |                   |                  |                  |              | Epsilon:             72.705 |
|   68 | Accept |           4.1439 |          0.063152 |           2.1916 |           2.1928 |          svm | BoxConstraint:       63.153 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0080065 |
|      |        |                  |                   |                  |                  |              | Epsilon:             481.39 |
|   69 | Accept |           4.1439 |          0.054083 |           2.1916 |           2.1928 |          svm | BoxConstraint:        4.117 |
|      |        |                  |                   |                  |                  |              | KernelScale:         73.496 |
|      |        |                  |                   |                  |                  |              | Epsilon:             121.74 |
|   70 | Accept |           4.1439 |           0.05377 |           2.1916 |           2.1928 |          svm | BoxConstraint:       30.398 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.12159 |
|      |        |                  |                   |                  |                  |              | Epsilon:              64.06 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   71 | Accept |           4.1439 |          0.053553 |           2.1916 |           2.1928 |          svm | BoxConstraint:       3.9304 |
|      |        |                  |                   |                  |                  |              | KernelScale:         871.88 |
|      |        |                  |                   |                  |                  |              | Epsilon:               23.7 |
|   72 | Accept |           4.1439 |          0.050525 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.031734 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.28247 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0097239 |
|   73 | Accept |           4.1439 |          0.068567 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.021528 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.001858 |
|      |        |                  |                   |                  |                  |              | Epsilon:             283.71 |
|   74 | Accept |           4.1439 |          0.055336 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.024702 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.055101 |
|      |        |                  |                   |                  |                  |              | Epsilon:             84.374 |
|   75 | Accept |           2.8707 |          0.095257 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.070484 |
|      |        |                  |                   |                  |                  |              | KernelScale:         928.16 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.11681 |
|   76 | Accept |           4.1439 |          0.059476 |           2.1916 |           2.1928 |          svm | BoxConstraint:       636.13 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0020368 |
|      |        |                  |                   |                  |                  |              | Epsilon:             2.0625 |
|   77 | Accept |           2.8682 |           0.10867 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.059284 |
|      |        |                  |                   |                  |                  |              | KernelScale:         888.99 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.1389 |
|   78 | Accept |           2.7111 |           0.59286 |           2.1916 |           2.1928 |          svm | BoxConstraint:       2.4776 |
|      |        |                  |                   |                  |                  |              | KernelScale:          998.2 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.5291 |
|   79 | Accept |           2.7625 |           0.45668 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.91288 |
|      |        |                  |                   |                  |                  |              | KernelScale:         996.35 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.16968 |
|   80 | Accept |           3.2211 |          0.058812 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0011498 |
|      |        |                  |                   |                  |                  |              | KernelScale:         989.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0091368 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   81 | Accept |           4.1439 |           0.05754 |           2.1916 |           2.1928 |          svm | BoxConstraint:       26.543 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0016089 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.68659 |
|   82 | Accept |           4.1439 |          0.055356 |           2.1916 |           2.1928 |          svm | BoxConstraint:       129.11 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.044504 |
|      |        |                  |                   |                  |                  |              | Epsilon:             3.7911 |
|   83 | Accept |           2.7643 |           0.51644 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.82852 |
|      |        |                  |                   |                  |                  |              | KernelScale:         990.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.013169 |
|   84 | Accept |           4.1439 |           0.05615 |           2.1916 |           2.1928 |          svm | BoxConstraint:       53.003 |
|      |        |                  |                   |                  |                  |              | KernelScale:         3.9941 |
|      |        |                  |                   |                  |                  |              | Epsilon:             318.78 |
|   85 | Accept |           4.1439 |          0.054645 |           2.1916 |           2.1928 |          svm | BoxConstraint:       10.848 |
|      |        |                  |                   |                  |                  |              | KernelScale:         0.2138 |
|      |        |                  |                   |                  |                  |              | Epsilon:             876.72 |
|   86 | Accept |           2.8797 |          0.077707 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.063788 |
|      |        |                  |                   |                  |                  |              | KernelScale:         999.56 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.24966 |
|   87 | Accept |           4.1439 |          0.056472 |           2.1916 |           2.1928 |          svm | BoxConstraint:       29.921 |
|      |        |                  |                   |                  |                  |              | KernelScale:         300.51 |
|      |        |                  |                   |                  |                  |              | Epsilon:             872.64 |
|   88 | Accept |           4.1439 |          0.053269 |           2.1916 |           2.1928 |          svm | BoxConstraint:       0.5701 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.020421 |
|      |        |                  |                   |                  |                  |              | Epsilon:             282.76 |
|   89 | Accept |           4.1439 |          0.054778 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.60472 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0052641 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.11831 |
|   90 | Accept |           2.8676 |          0.097394 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.11411 |
|      |        |                  |                   |                  |                  |              | KernelScale:         977.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.090725 |

__________________________________________________________
Optimization completed.
Total iterations: 90
Total elapsed time: 589.6892 seconds
Total time for training and validation: 245.2123 seconds

Best observed learner is an ensemble model with:
	Method:             LSBoost
	NumLearningCycles:      278
	MinLeafSize:             13
Observed log(1 + valLoss): 2.1916
Time for training and validation: 6.4368 seconds

Best estimated learner (returned model) is an ensemble model with:
	Method:             LSBoost
	NumLearningCycles:      278
	MinLeafSize:             13
Estimated log(1 + valLoss): 2.1928
Estimated time for training and validation: 5.8977 seconds

Documentation for fitrauto display

fitrauto によって返される最終的なモデルが、最適な推定学習器となります。モデルを返す前に、関数は学習データ全体 (carsTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

検定セットのパフォーマンスの評価

検定セットに対するモデルのパフォーマンスを評価します。testError は、検定セットの平均二乗誤差 (MSE) に基づきます。MSE の値が小さいほど、パフォーマンスが優れていることを示します。

testMSE = loss(Mdl,carsTest,'MPG');
testError = log(1 + testMSE)
testError = 2.3194

fitrauto を使用し、個別の変数に保存されている予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ回帰モデルを自動的に選択します。

データの読み込み

carbig データセットを読み込みます。このデータセットには、1970 年代と 1980 年代初期に製造された自動車の測定値が格納されています。

load carbig

予測子変数 AccelerationCylinders などが含まれている行列 X を作成します。応答変数 MPG を変数 Y に保存します。

X = [Acceleration Cylinders Displacement Weight];
Y = MPG;

カテゴリカルな予測子を示す変数を作成します。CylindersX 内で唯一のカテゴリカル変数です。

categoricalVars = [false true false false];

データの分割

データを学習セットと検定セットに分割します。モデル選択とハイパーパラメーター調整のプロセスに観測値の約 80% を使用し、fitrauto によって返された最終モデルのパフォーマンスのテストに観測値の 20% を使用します。cvpartition を使用してデータを分割します。

rng('default') % For reproducibility of the partition
c = cvpartition(length(Y),'Holdout',0.20);
trainingIdx = training(c); % Indices for the training set
XTrain = X(trainingIdx,:);
YTrain = Y(trainingIdx);
testIdx = test(c); % Indices for the test set
XTest = X(testIdx,:);
YTest = Y(testIdx);

fitrauto の実行

学習データを fitrauto に渡します。既定では、fitrauto は、試行する適切なモデル (学習器) のタイプを決定し、ベイズ最適化を使用してこれらのモデルの適切なハイパーパラメーター値を求め、パフォーマンスが最大となることが期待される学習済みモデル Mdl を返します。カテゴリカル予測子を指定し、最適化を並列実行します (Parallel Computing Toolbox™ が必要)。ベイズ最適化の詳細が格納された 2 番目の出力 OptimizationResults を返します。

このプロセスにいくらか時間がかかることを見込んでください。既定の設定では、fitrauto は、最適化のプロット、および最適化の結果の反復表示を提供します。これらの結果を解釈する方法の詳細については、Verbose の表示を参照してください。

options = struct('UseParallel',true);
[Mdl,OptimizationResults] = fitrauto(XTrain,YTrain, ...
    'CategoricalPredictors',categoricalVars, ...
    'HyperparameterOptimizationOptions',options);
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|    1 |       5 | Best   |           3.0205 |            1.7491 |           3.0205 |           3.0329 |         tree | MinLeafSize:              6 |
|    2 |       5 | Accept |           3.0453 |            1.6641 |           3.0205 |           3.0329 |         tree | MinLeafSize:              5 |
|    3 |       4 | Accept |            4.143 |            2.6491 |           3.0205 |           3.0329 |          svm | BoxConstraint:       336.91 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0018275 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.1074 |
|    4 |       4 | Accept |           4.1434 |            7.5491 |           3.0205 |           3.0329 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      257 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            156 |
|    5 |       3 | Best   |           2.9188 |            8.6194 |           2.9188 |           3.0329 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|    6 |       3 | Accept |            4.143 |           0.83485 |           2.9188 |           3.0329 |          svm | BoxConstraint:       346.92 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.032493 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.23974 |
|    7 |       6 | Accept |           2.9275 |           0.19147 |           2.9188 |           2.9276 |          svm | BoxConstraint:     0.033068 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         585.38 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.6993 |
|    8 |       4 | Accept |            4.143 |           0.09353 |           2.9188 |           2.9276 |          svm | BoxConstraint:       985.69 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0010988 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             449.48 |
|    9 |       4 | Accept |            4.143 |           0.62222 |           2.9188 |           2.9276 |          svm | BoxConstraint:      0.04588 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.33917 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.073755 |
|   10 |       4 | Accept |           3.0205 |           0.21301 |           2.9188 |           2.9276 |         tree | MinLeafSize:              6 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   11 |       6 | Best   |           2.9167 |            7.3685 |           2.9167 |           2.9276 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             63 |
|   12 |       4 | Accept |           3.6673 |            22.826 |           2.8696 |           2.8697 |          svm | BoxConstraint:     0.033502 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         153.38 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.093672 |
|   13 |       4 | Best   |           2.8696 |            8.0371 |           2.8696 |           2.8697 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   14 |       4 | Accept |           2.8696 |            7.6155 |           2.8696 |           2.8697 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   15 |       3 | Accept |           2.8696 |            8.2039 |           2.8696 |           2.8697 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   16 |       3 | Accept |           3.1971 |            0.1933 |           2.8696 |           2.8697 |         tree | MinLeafSize:              2 |
|   17 |       6 | Accept |           3.0139 |           0.12079 |           2.8696 |           2.8697 |         tree | MinLeafSize:             34 |
|   18 |       5 | Accept |            4.143 |           0.23444 |           2.8696 |           2.8697 |          svm | BoxConstraint:    0.0023916 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0049969 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             3.0552 |
|   19 |       5 | Accept |           3.3225 |           0.19712 |           2.8696 |           2.8697 |         tree | MinLeafSize:            122 |
|   20 |       3 | Accept |           2.8717 |            5.5602 |           2.8217 |           2.8697 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      282 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   21 |       3 | Best   |           2.8217 |            4.2702 |           2.8217 |           2.8697 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      202 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|   22 |       3 | Accept |            4.143 |           0.11628 |           2.8217 |           2.8697 |          svm | BoxConstraint:       37.028 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.033731 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.2457 |
|   23 |       6 | Accept |            4.143 |          0.067367 |           2.8217 |           2.8697 |          svm | BoxConstraint:      0.01045 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0024261 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             12.355 |
|   24 |       5 | Accept |           3.1971 |          0.094668 |           2.8217 |           2.8697 |         tree | MinLeafSize:              2 |
|   25 |       5 | Accept |            4.143 |           0.10279 |           2.8217 |           2.8697 |          svm | BoxConstraint:        308.5 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.015174 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.53501 |
|   26 |       5 | Accept |            4.143 |           0.07812 |           2.8217 |           2.8697 |          svm | BoxConstraint:       2.1296 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         3.2623 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             599.62 |
|   27 |       6 | Accept |            11.41 |            32.991 |           2.8217 |           2.8697 |          svm | BoxConstraint:    0.0054638 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         45.011 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             5.0385 |
|   28 |       6 | Accept |           2.8657 |            5.3498 |           2.8217 |           2.8221 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      229 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             52 |
|   29 |       3 | Accept |           2.8689 |            6.3959 |           2.8217 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      235 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   30 |       3 | Accept |           2.8689 |            5.5649 |           2.8217 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      235 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   31 |       3 | Accept |           2.9197 |          0.043492 |           2.8217 |           2.8221 |         tree | MinLeafSize:             19 |
|   32 |       3 | Accept |           2.9403 |          0.050907 |           2.8217 |           2.8221 |         tree | MinLeafSize:             13 |
|   33 |       6 | Accept |            4.143 |            0.1117 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0013002 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         365.07 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             533.39 |
|   34 |       5 | Accept |           4.1924 |            16.905 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0057208 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         143.79 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.0917 |
|   35 |       5 | Accept |           2.9804 |           0.16413 |           2.8217 |           2.8221 |         tree | MinLeafSize:              8 |
|   36 |       4 | Accept |           2.8842 |            4.4972 |           2.8217 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      214 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|   37 |       4 | Accept |            3.112 |           0.40292 |           2.8217 |           2.8221 |         tree | MinLeafSize:             62 |
|   38 |       3 | Accept |           2.8686 |             5.942 |           2.8217 |           2.8221 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      285 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             45 |
|   39 |       3 | Accept |            4.143 |          0.048389 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.093799 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0053728 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             17.332 |
|   40 |       6 | Accept |           2.9487 |          0.053171 |           2.8217 |           2.8221 |         tree | MinLeafSize:             27 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   41 |       3 | Accept |           12.196 |             29.49 |           2.8217 |           2.8221 |          svm | BoxConstraint:       86.083 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         52.727 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             8.3179 |
|   42 |       3 | Accept |           2.8717 |            4.5788 |           2.8217 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      233 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   43 |       3 | Accept |           2.9093 |           0.24973 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.034974 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         588.77 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             3.8683 |
|   44 |       3 | Accept |           2.9804 |           0.18263 |           2.8217 |           2.8221 |         tree | MinLeafSize:              8 |
|   45 |       6 | Accept |            4.143 |           0.10875 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.084355 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.052988 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             76.921 |
|   46 |       5 | Accept |           2.8478 |            4.7428 |           2.8217 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      229 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              8 |
|   47 |       5 | Accept |            4.143 |            1.2887 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0036358 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         4.7627 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             20.208 |
|   48 |       4 | Accept |           3.2214 |            16.267 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.069952 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         207.68 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.092526 |
|   49 |       4 | Accept |            2.924 |           0.18896 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0095751 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         358.95 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.7526 |
|   50 |       3 | Accept |           3.1542 |             15.88 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.028095 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         184.52 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.09847 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   51 |       3 | Accept |           2.9143 |            3.0279 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0033005 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         252.81 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.6159 |
|   52 |       6 | Accept |            10.06 |            18.169 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.043122 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         74.674 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.071781 |
|   53 |       2 | Accept |           2.8989 |            7.2493 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.014817 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         247.68 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.5942 |
|   54 |       2 | Accept |           2.9049 |           0.55744 |           2.8217 |           2.8221 |          svm | BoxConstraint:     0.033022 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         505.18 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.1266 |
|   55 |       2 | Accept |           2.9804 |          0.066427 |           2.8217 |           2.8221 |         tree | MinLeafSize:              8 |
|   56 |       2 | Accept |           2.9032 |           0.17339 |           2.8217 |           2.8221 |         tree | MinLeafSize:             17 |
|   57 |       2 | Accept |            4.143 |          0.058535 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0011341 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0017464 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.012532 |
|   58 |       6 | Accept |           2.9268 |           0.13315 |           2.8217 |           2.8221 |          svm | BoxConstraint:    0.0042653 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:          319.4 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.5985 |
|   59 |       4 | Accept |           2.9081 |            1.8508 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0012679 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         229.31 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.075286 |
|   60 |       4 | Accept |            4.143 |          0.059851 |           2.8217 |           2.8227 |          svm | BoxConstraint:       275.76 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.034549 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             6.2312 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   61 |       4 | Accept |           2.8335 |            4.6933 |           2.8217 |           2.8227 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      219 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   62 |       5 | Accept |           2.9049 |             1.902 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0071219 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         278.65 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.7464 |
|   63 |       3 | Accept |           2.8816 |            15.271 |           2.8217 |           2.8227 |          svm | BoxConstraint:     0.044779 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         253.31 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.15109 |
|   64 |       3 | Accept |           2.8773 |            9.1951 |           2.8217 |           2.8227 |          svm | BoxConstraint:     0.042581 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         336.99 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.072146 |
|   65 |       3 | Accept |           2.9573 |             3.597 |           2.8217 |           2.8227 |          svm | BoxConstraint:     0.035397 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         251.22 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             5.8103 |
|   66 |       6 | Accept |           2.9045 |            0.8479 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0017256 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         280.49 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.17061 |
|   67 |       5 | Accept |           3.1507 |          0.089958 |           2.8217 |           2.8227 |         tree | MinLeafSize:              3 |
|   68 |       5 | Accept |           3.1971 |           0.14914 |           2.8217 |           2.8227 |         tree | MinLeafSize:              2 |
|   69 |       5 | Accept |            4.143 |            30.354 |           2.8217 |           2.8227 |          svm | BoxConstraint:       1.3468 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         9.6762 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.023868 |
|   70 |       5 | Accept |           2.9037 |            1.2103 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0030905 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         288.83 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.089541 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   71 |       4 | Accept |           6.6283 |            17.347 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0017058 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         104.21 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.065687 |
|   72 |       4 | Accept |           2.9655 |            15.866 |           2.8217 |           2.8227 |          svm | BoxConstraint:       16.694 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         563.25 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.82854 |
|   73 |       4 | Accept |           3.0653 |          0.064937 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0014988 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         637.21 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.082183 |
|   74 |       2 | Accept |           5.9041 |            19.341 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0015248 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         115.07 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.14178 |
|   75 |       2 | Accept |            2.874 |            14.077 |           2.8217 |           2.8227 |          svm | BoxConstraint:     0.049938 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:          249.2 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.3027 |
|   76 |       2 | Accept |           2.9116 |            0.1932 |           2.8217 |           2.8227 |          svm | BoxConstraint:    0.0015667 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         364.11 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.046357 |
|   77 |       6 | Accept |           2.9266 |          0.089378 |           2.8217 |           2.8203 |          svm | BoxConstraint:     0.008711 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         689.75 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.11038 |
|   78 |       3 | Accept |           2.9134 |            0.2501 |           2.8217 |           2.7031 |          svm | BoxConstraint:    0.0013447 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         362.68 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.096474 |
|   79 |       3 | Accept |            4.143 |          0.086465 |           2.8217 |           2.7031 |          svm | BoxConstraint:       37.006 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.031201 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             8.5325 |
|   80 |       3 | Accept |           2.9804 |          0.070321 |           2.8217 |           2.7031 |         tree | MinLeafSize:              8 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   81 |       3 | Accept |            4.143 |          0.057551 |           2.8217 |           2.7031 |          svm | BoxConstraint:       8.2928 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.22318 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.35272 |
|   82 |       6 | Accept |            2.905 |           0.35685 |           2.8217 |           2.6899 |          svm | BoxConstraint:    0.0049863 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         405.18 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.20248 |
|   83 |       4 | Accept |            4.143 |          0.057428 |           2.8217 |           2.6899 |          svm | BoxConstraint:    0.0035019 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         10.124 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             22.114 |
|   84 |       4 | Accept |           2.9968 |          0.053485 |           2.8217 |           2.6899 |         tree | MinLeafSize:             31 |
|   85 |       4 | Accept |           2.9487 |          0.067551 |           2.8217 |           2.6899 |         tree | MinLeafSize:             27 |
|   86 |       2 | Accept |           11.192 |            19.605 |           2.8217 |           2.7382 |          svm | BoxConstraint:       86.675 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         92.212 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.4057 |
|   87 |       2 | Accept |           2.8848 |            6.0635 |           2.8217 |           2.7382 |          svm | BoxConstraint:     0.015422 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         295.63 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.10658 |
|   88 |       2 | Accept |           2.8919 |            2.8002 |           2.8217 |           2.7382 |          svm | BoxConstraint:     0.013027 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         316.74 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.1048 |
|   89 |       6 | Accept |           2.9712 |          0.073966 |           2.8217 |           2.7363 |          svm | BoxConstraint:      0.00197 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         560.31 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.42707 |
|   90 |       5 | Accept |           3.0045 |            0.1149 |           2.8217 |           2.7363 |         tree | MinLeafSize:             45 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   91 |       5 | Accept |            3.031 |          0.041383 |           2.8217 |           2.7363 |         tree | MinLeafSize:             61 |

__________________________________________________________
Optimization completed.
Total iterations: 91
Total elapsed time: 201.923 seconds
Total time for training and validation: 436.1019 seconds

Best observed learner is an ensemble model with:
	Method:                 Bag
	NumLearningCycles:      202
	MinLeafSize:              9
Observed log(1 + valLoss): 2.8217
Time for training and validation: 4.2702 seconds

Best estimated learner (returned model) is an svm model with:
	BoxConstraint:    0.0013447
	KernelScale:         362.68
	Epsilon:           0.096474
Estimated log(1 + valLoss): 2.7363
Estimated time for training and validation: 0.29514 seconds

Documentation for fitrauto display

fitrauto によって返される最終的なモデルが、最適な推定学習器となります。モデルを返す前に、関数は学習データ全体 (XTrainYTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

検定セットのパフォーマンスの評価

検定セットに対するモデルのパフォーマンスを評価します。testError は、検定セットの平均二乗誤差 (MSE) に基づきます。MSE の値が小さいほど、パフォーマンスが優れていることを示します。

testMSE = loss(Mdl,XTest,YTest);
testError = log(1 + testMSE)
testError = 2.9873

fitrauto を使用し、table に保存されている予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ回帰モデルを自動的に選択します。得られた回帰モデルのパフォーマンスと、fitlm で作成された単純な線形回帰モデルのパフォーマンスを比較します。

データの読み込みと分割

carbig データセットを読み込みます。このデータセットには、1970 年代と 1980 年代初期に製造された自動車の測定値が格納されています。変数 Cylinderscategorical 変数に変換します。AccelerationCylindersDisplacement などの予測子変数と応答変数 MPG が格納された table を作成します。

load carbig
Cylinders = categorical(Cylinders);
cars = table(Acceleration,Cylinders,Displacement, ...
    Horsepower,Model_Year,Origin,Weight,MPG);

データを学習セットと検定セットに分割します。観測値の約 80% を学習に、観測値の約 20% を検定に使用します。cvpartition を使用してデータを分割します。

rng('default') % For reproducibility of the data partition
c = cvpartition(length(MPG),'Holdout',0.2);
trainingIdx = training(c); % Training set indices
carsTrain = cars(trainingIdx,:);
testIdx = test(c); % Test set indices
carsTest = cars(testIdx,:);

fitrauto の実行

学習データを fitrauto に渡します。既定では、fitrauto は、試行する適切なモデルのタイプを決定し、ベイズ最適化を使用して適切なハイパーパラメーター値を求め、パフォーマンスが最大となることが期待される学習済みモデル autoMdl を返します。最適化可能なすべてのハイパーパラメーターを最適化し、最適化を並列実行するよう指定します (Parallel Computing Toolbox™ が必要)。

このプロセスにいくらか時間がかかることを見込んでください。既定の設定では、fitrauto は、最適化のプロット、および最適化の結果の反復表示を提供します。これらの結果を解釈する方法の詳細については、Verbose の表示を参照してください。

options = struct('UseParallel',true);
autoMdl = fitrauto(carsTrain,'MPG','OptimizeHyperparameters','all', ...
    'HyperparameterOptimizationOptions',options);
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf

|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|    1 |       4 | Accept |           3.5168 |            2.3522 |           2.6193 |           2.6197 |         tree | MinLeafSize:             38 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     1 |
|    2 |       4 | Accept |           2.6633 |            2.3211 |           2.6193 |           2.6197 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            44 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|    3 |       4 | Best   |           2.6193 |            2.3426 |           2.6193 |           2.6197 |         tree | MinLeafSize:             29 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            52 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|    4 |       4 | Accept |           4.1439 |             3.798 |           2.6193 |           2.6197 |          svm | BoxConstraint:     0.010718 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.7547 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              182.6 |
|    5 |       2 | Accept |           2.3998 |            8.4115 |           2.2082 |           2.6197 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.64294 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             39 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|    6 |       2 | Best   |           2.2082 |            9.4573 |           2.2082 |           2.6197 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.033855 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|    7 |       2 | Accept |           4.1439 |           0.37564 |           2.2082 |           2.6197 |          svm | BoxConstraint:     0.012677 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         351.81 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             140.99 |
|    8 |       6 | Accept |           4.1439 |            1.1014 |           2.2082 |           2.6197 |          svm | BoxConstraint:       37.191 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         21.113 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             33.874 |
|    9 |       6 | Accept |           2.7394 |            1.8778 |           2.2082 |           2.6197 |          svm | BoxConstraint:     0.057859 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         448.87 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.2169 |
|   10 |       3 | Accept |           2.5987 |            6.4235 |           2.2082 |           2.4798 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.89898 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   11 |       3 | Accept |           3.2336 |              6.93 |           2.2082 |           2.4798 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.56281 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            123 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   12 |       3 | Accept |            2.682 |            6.4489 |           2.2082 |           2.4798 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             51 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   13 |       3 | Accept |           2.4795 |           0.40654 |           2.2082 |           2.4798 |         tree | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            32 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   14 |       5 | Accept |           4.1439 |           0.28349 |           2.2082 |           2.4798 |          svm | BoxConstraint:       297.35 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.87756 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.043798 |
|   15 |       5 | Accept |            2.845 |            0.3422 |           2.2082 |           2.4798 |          svm | BoxConstraint:    0.0027083 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         413.17 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13572 |
|   16 |       5 | Accept |           2.7106 |            5.6397 |           2.2082 |           2.3735 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.74839 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             88 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   17 |       3 | Accept |           6.0492 |            4.8396 |           2.2082 |           2.3735 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:        0.0010498 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            130 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   18 |       3 | Accept |           2.2932 |            5.4011 |           2.2082 |           2.3735 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.10542 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             57 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   19 |       3 | Accept |           2.6686 |           0.22924 |           2.2082 |           2.3735 |         tree | MinLeafSize:              5 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             7 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   20 |       6 | Accept |           4.1439 |            1.5528 |           2.2082 |           2.3735 |          svm | BoxConstraint:      0.07294 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         761.22 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             31.544 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   21 |       4 | Accept |            4.143 |           0.10249 |           2.2082 |           2.3735 |         tree | MinLeafSize:            132 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             8 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   22 |       4 | Accept |            4.143 |           0.31889 |           2.2082 |           2.3735 |         tree | MinLeafSize:            138 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|   23 |       4 | Accept |           3.5024 |           0.16777 |           2.2082 |           2.3735 |         tree | MinLeafSize:             83 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            41 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   24 |       2 | Accept |           4.1439 |            33.887 |           2.2082 |           2.3735 |          svm | BoxConstraint:      0.15265 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.4893 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.44287 |
|   25 |       2 | Accept |           2.3583 |            5.6469 |           2.2082 |           2.3735 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   26 |       2 | Accept |           4.1439 |           0.08045 |           2.2082 |           2.3735 |          svm | BoxConstraint:    0.0050384 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.18651 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             11.818 |
|   27 |       6 | Accept |           4.1439 |           0.11643 |           2.2082 |           2.3735 |          svm | BoxConstraint:      0.19519 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.48473 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.02267 |
|   28 |       6 | Accept |           2.6334 |           0.69581 |           2.2082 |           2.3735 |         tree | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            43 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   29 |       2 | Accept |           5.9862 |            5.4794 |           2.2082 |           2.3735 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.001143 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            104 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   30 |       2 | Accept |           2.2456 |            7.9201 |           2.2082 |           2.3735 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             12 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   31 |       2 | Accept |           2.9745 |            7.6297 |           2.2082 |           2.3735 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.010155 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   32 |       2 | Accept |           2.6819 |            6.0671 |           2.2082 |           2.3735 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             57 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   33 |       2 | Accept |            2.927 |           0.11096 |           2.2082 |           2.3735 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:           123 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   34 |       4 | Accept |           4.1439 |           0.11416 |           2.2082 |           2.3735 |          svm | BoxConstraint:       2.1967 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.02117 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.20631 |
|   35 |       4 | Accept |           2.9904 |          0.096707 |           2.2082 |           2.3735 |         tree | MinLeafSize:             44 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:           265 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   36 |       4 | Accept |           2.6513 |           0.10209 |           2.2082 |           2.3735 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            90 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   37 |       4 | Accept |           2.2442 |            7.3117 |           2.2082 |           2.2083 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|   38 |       4 | Accept |            2.345 |            5.3353 |           2.2082 |           2.2083 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   39 |       3 | Accept |           3.1314 |            4.9709 |           2.2082 |           2.2083 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             82 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   40 |       3 | Accept |           4.1439 |          0.076184 |           2.2082 |           2.2083 |          svm | BoxConstraint:       488.75 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.047261 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.019147 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   41 |       5 | Accept |            2.611 |            15.327 |           2.2082 |           2.2083 |          svm | BoxConstraint:    0.0057698 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         199.91 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.094 |
|   42 |       5 | Accept |           4.1439 |           0.11014 |           2.2082 |           2.2083 |          svm | BoxConstraint:       347.06 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.024995 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.012891 |
|   43 |       3 | Best   |           2.1839 |            5.4291 |           2.1839 |           2.2083 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.079786 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             16 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   44 |       3 | Accept |           2.9934 |          0.080707 |           2.1839 |           2.2083 |         tree | MinLeafSize:             37 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:           171 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|   45 |       3 | Accept |           4.1439 |          0.090101 |           2.1839 |           2.2083 |          svm | BoxConstraint:      0.24707 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0040563 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.75695 |
|   46 |       6 | Accept |           2.2144 |            5.1987 |           2.1839 |           2.1982 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.078839 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             16 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   47 |       4 | Accept |           2.2877 |            5.9143 |           2.1839 |           2.1129 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             15 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   48 |       4 | Accept |           3.0763 |           0.13281 |           2.1839 |           2.1129 |         tree | MinLeafSize:             12 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   49 |       4 | Accept |           4.1439 |            1.3244 |           2.1839 |           2.1129 |          svm | BoxConstraint:       6.6689 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.048705 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             59.545 |
|   50 |       3 | Accept |           4.1439 |            30.675 |           2.1839 |           2.1984 |          svm | BoxConstraint:       13.655 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         4.3086 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             6.9116 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   51 |       3 | Accept |           2.2728 |            5.7106 |           2.1839 |           2.1984 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             14 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   52 |       6 | Accept |           2.4156 |            4.7264 |           2.1839 |           2.1984 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             24 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   53 |       4 | Accept |           4.1439 |           0.07497 |           2.1839 |           2.1984 |          svm | BoxConstraint:       424.87 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.41352 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.74479 |
|   54 |       4 | Accept |           2.3527 |            5.0415 |           2.1839 |           2.1984 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.62721 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   55 |       4 | Accept |           2.5975 |          0.086879 |           2.1839 |           2.1984 |         tree | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            12 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|   56 |       3 | Accept |           4.1439 |            30.921 |           2.1839 |           2.1983 |          svm | BoxConstraint:    0.0044643 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         4.2576 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.066941 |
|   57 |       3 | Accept |           2.2488 |            6.5278 |           2.1839 |           2.1983 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|   58 |       5 | Accept |           2.2375 |            6.3071 |           2.1839 |           2.1982 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|   59 |       5 | Accept |           2.2145 |            5.1044 |           2.1839 |           2.1982 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.13809 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              5 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   60 |       2 | Accept |           2.2771 |            5.7956 |           2.1839 |           2.1953 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   61 |       2 | Accept |           2.4755 |            4.7265 |           2.1839 |           2.1953 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              5 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     1 |
|   62 |       2 | Accept |           2.6456 |          0.082657 |           2.1839 |           2.1953 |         tree | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            36 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|   63 |       2 | Accept |           2.5294 |            5.4057 |           2.1839 |           2.1953 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             35 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   64 |       6 | Accept |           2.3409 |            5.5648 |           2.1839 |           2.0591 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             25 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|   65 |       2 | Accept |           2.3209 |            7.4037 |           2.1839 |           2.0591 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.016875 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   66 |       2 | Accept |           2.5782 |            5.5342 |           2.1839 |           2.0591 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.015531 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             76 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   67 |       2 | Accept |           2.2537 |            7.2619 |           2.1839 |           2.0591 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|   68 |       2 | Accept |           4.1426 |            4.7455 |           2.1839 |           2.0591 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            134 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   69 |       2 | Accept |           2.9366 |          0.094426 |           2.1839 |           2.0591 |         tree | MinLeafSize:              8 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            37 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     1 |
|   70 |       6 | Accept |           2.2338 |            5.1862 |           2.1839 |           2.1934 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.17516 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   71 |       3 | Accept |            4.143 |            4.4939 |           2.1839 |           2.1968 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.038144 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            142 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   72 |       3 | Accept |           4.1439 |          0.076138 |           2.1839 |           2.1968 |          svm | BoxConstraint:       131.74 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0031145 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.028465 |
|   73 |       3 | Accept |            4.143 |          0.074774 |           2.1839 |           2.1968 |         tree | MinLeafSize:            156 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             1 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   74 |       3 | Accept |           2.3197 |            5.1527 |           2.1839 |           2.1968 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   75 |       6 | Accept |           2.5309 |            4.7886 |           2.1839 |           2.1969 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.97421 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   76 |       3 | Accept |           2.2935 |            5.3774 |           2.1839 |           2.1983 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.16149 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             30 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   77 |       3 | Accept |           2.3649 |            4.9029 |           2.1839 |           2.1983 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   78 |       3 | Accept |           3.3541 |          0.065977 |           2.1839 |           2.1983 |         tree | MinLeafSize:             79 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            65 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   79 |       3 | Accept |           2.3592 |            5.0572 |           2.1839 |           2.1983 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   80 |       6 | Accept |           2.4009 |            4.5836 |           2.1839 |           2.1983 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             18 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   81 |       2 | Accept |           10.894 |            31.052 |           2.1839 |           2.1983 |          svm | BoxConstraint:      0.05924 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         16.477 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.204 |
|   82 |       2 | Accept |            2.216 |            5.8077 |           2.1839 |           2.1983 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.038621 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   83 |       2 | Accept |           2.2547 |            5.6201 |           2.1839 |           2.1983 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   84 |       2 | Accept |           4.1439 |           0.11346 |           2.1839 |           2.1983 |          svm | BoxConstraint:       230.13 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         15.715 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             425.18 |
|   85 |       2 | Accept |           4.1439 |           0.10597 |           2.1839 |           2.1983 |          svm | BoxConstraint:       10.758 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.020507 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.9755 |
|   86 |       6 | Accept |            2.219 |            6.1221 |           2.1839 |           2.1981 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.038658 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   87 |       2 | Accept |           2.8447 |           0.17007 |           2.1839 |           2.1981 |          svm | BoxConstraint:     0.013729 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         535.02 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.1063 |
|   88 |       2 | Accept |           4.1439 |          0.079667 |           2.1839 |           2.1981 |          svm | BoxConstraint:      0.32731 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         22.615 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             41.604 |
|   89 |       2 | Accept |           2.2928 |            4.9488 |           2.1839 |           2.1981 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.26144 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             33 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   90 |       2 | Accept |           2.4525 |           0.12704 |           2.1839 |           2.1981 |         tree | MinLeafSize:              4 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            92 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   91 |       2 | Accept |           4.1439 |          0.093014 |           2.1839 |           2.1981 |          svm | BoxConstraint:    0.0021134 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.001228 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             6.4785 |

__________________________________________________________
Optimization completed.
Total iterations: 91
Total elapsed time: 235.4082 seconds
Total time for training and validation: 426.1606 seconds

Best observed learner is an ensemble model with:
	Method:             LSBoost
	LearnRate:         0.079786
	MinLeafSize:             16
	NumVariablesToSample:   NaN
Observed log(1 + valLoss): 2.1839
Time for training and validation: 5.4291 seconds

Best estimated learner (returned model) is an ensemble model with:
	Method:             LSBoost
	LearnRate:         0.079786
	MinLeafSize:             16
	NumVariablesToSample:   NaN
Estimated log(1 + valLoss): 2.1981
Estimated time for training and validation: 5.3328 seconds

Documentation for fitrauto display

fitrauto によって返される最終的なモデルが、最適な推定学習器となります。モデルを返す前に、関数は学習データ全体 (carsTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

単純なモデルの作成

関数 fitlm を使用して、単純な線形回帰モデル linearMdl を作成します。

linearMdl = fitlm(carsTrain);

linearMdl オブジェクトは autoMdl オブジェクトと厳密に同一のプロパティとメソッドをもつわけではありませんが、オブジェクト関数 predict を使った新しいデータの応答値の予測に、両方のモデルを使用できます。

モデルの検定セットのパフォーマンスの比較

検定データ セットに対する linearMdl モデルと autoMdl モデルのパフォーマンスを比較します。各モデルについて、検定セットの平均二乗誤差 (MSE) を計算します。MSE の値が小さいほど、パフォーマンスが優れていることを示します。

ypred = predict(linearMdl,carsTest);
linearMSE = mean((carsTest.MPG-ypred).^2,'omitnan')
linearMSE = 11.0981
autoMSE = loss(autoMdl,carsTest,'MPG')
autoMSE = 8.8024

autoMdl モデルは linearMdl モデルよりも性能が高いと考えられます。

入力引数

すべて折りたたむ

標本データ。テーブルとして指定します。Tbl の各行は 1 つの観測値に、各列は 1 つの予測子に対応します。オプションとして、Tbl に応答変数用の列を 1 つ追加できます。文字ベクトルの cell 配列ではない cell 配列と複数列の変数は使用できません。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数をすべて予測子として使用するには、ResponseVarName を使用して応答変数を指定します。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数の一部のみを予測子として使用するには、formula を使用して式を指定します。

Tbl に応答変数が含まれていない場合は、Y を使用して応答変数を指定します。応答変数の長さと Tbl の行数は等しくなければなりません。

データ型: table

応答変数の名前。Tbl 内の変数の名前で指定します。応答変数は、数値ベクトルでなければなりません。

ResponseVarName には文字ベクトルまたは string スカラーを指定しなければなりません。たとえば、応答変数 YTbl.Y として格納されている場合、'Y' として指定します。それ以外の場合、モデルに学習させるときに、Tbl の列は Y を含めてすべて予測子として扱われます。

データ型: char | string

応答変数および予測子変数サブセットの説明モデル。'Y~x1+x2+x3' という形式の文字ベクトルまたは string スカラーを指定します。この形式では、Y は応答変数を、x1x2 および x3 は予測子変数を表します。

モデルに学習をさせるための予測子として Tbl 内の変数のサブセットを指定するには、式を使用します。式を指定した場合、formula に現れない Tbl 内の変数は使用されません。

式の変数名は Tbl の変数名 (Tbl.Properties.VariableNames) であり、有効な MATLAB® 識別子でなければなりません。関数 isvarname を使用して Tbl の変数名を検証できます。変数名が有効でない場合、関数 matlab.lang.makeValidName を使用してそれらを変換できます。

データ型: char | string

応答データ。数値ベクトルとして指定します。Y の長さは Tbl または X の行数と等しくなければなりません。

応答変数名を指定するには、ResponseName 名前と値のペアの引数を使用します。

データ型: single | double

予測子データ。数値行列として指定します。

X の各行は 1 つの観測値に、各列は 1 つの予測子に対応します。

Y の長さと X の行数は等しくなければなりません。

予測子の名前を X に表示される順序で指定するには、PredictorNames 名前と値のペアの引数を使用します。

データ型: single | double

メモ

NaN、空の文字ベクトル ('')、空の string ("")、<missing> および <undefined> 要素は欠損データとして扱われます。応答変数の欠損値に対応するデータの行は削除されます。ただし、予測子データ X または Tbl の欠損値の処理は、モデル (学習器) によって異なります。

名前と値のペアの引数

オプションの Name,Value 引数のコンマ区切りペアを指定します。Name は引数名で、Value は対応する値です。Name は引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を、任意の順番で指定できます。

例: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',200,'Verbose',2) は、最適化プロセスを 200 回反復する (つまり、モデル ハイパーパラメーターの組み合わせを 200 通り試す) よう指定し、次に評価するモデル ハイパーパラメーターの組み合わせに関する情報をコマンド ウィンドウに表示します。
オプティマイザーのオプション

すべて折りたたむ

最適化で試行する回帰モデルのタイプ。'Learners' と、以下の最初の表に示す値、または 2 番目の表に示す 1 つ以上の学習器の名前で構成される、コンマ区切りのペアとして指定します。複数の学習器の名前を string または cell 配列として指定します。

説明
'auto'fitrauto は、指定された予測子データと応答データに適した学習器のサブセットを自動的に選択します。この学習器は、既定とは異なるモデル ハイパーパラメーター値をもつ場合があります。詳細は、学習器の自動選択を参照してください。
'all'fitrauto は、使用可能なすべての学習器を選択します。
'all-linear'fitrauto は、線形 ('linear') 学習器を選択します。
'all-nonlinear'fitrauto は、次のすべての非線形学習器を選択します。'ensemble''gp''kernel''svm' (ガウス カーネルまたは多項式カーネル)、および 'tree'

メモ

効率を高めるため、以前の値のいずれかを指定した場合、fitrauto で次のモデルの組み合わせは選択されません。

  • 'kernel''svm' (ガウス カーネル) — fitrauto は予測子データの観測値数が 11,000 を超える場合は 1 つ目を選択し、それ以外の場合は 2 つ目を選択します。

  • 'linear''svm' (線形カーネル) — fitrauto は 1 つ目を選択します。

学習器名説明
'ensemble'アンサンブル回帰モデル
'gp'ガウス過程回帰モデル
'kernel'カーネル回帰モデル
'linear'高次元データ用の線形回帰モデル
'svm'サポート ベクター マシン回帰モデル
'tree'二分決定回帰木

例: 'Learners','all'

例: 'Learners','ensemble'

例: 'Learners',{'gp','svm'}

最適化するハイパーパラメーター。'OptimizeHyperparameters' と、'auto' (または 'all') から構成されるコンマ区切りのペアとして指定します。最適化可能なハイパーパラメーターは、次の表で説明されているように、モデル (学習器) によって異なります。

学習器名'auto' の場合のハイパーパラメーター'all' の場合の追加ハイパーパラメーターメモ:
'ensemble'Method, NumLearningCycles, LearnRate, MinLeafSizeMaxNumSplits, NumVariablesToSample

アンサンブルの Method の値がブースティング法の場合、アンサンブルの NumBins の値は 50 になります。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。

'gp'SigmaBasisFunction, KernelFunction, KernelScale (KernelParameters), Standardize

関数 fitrauto はすべての ARD カーネル オプションを無視します。そのため、OptimizeHyperparameters 値が 'all' である場合、'exponential''matern32''matern52''rationalquadratic'、および 'squaredexponential'KernelFunction 値の中から選択されます。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。

'kernel'Epsilon, KernelScale, LambdaLearner, NumExpansionDimensionsハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。
'linear'Lambda, LearnerRegularizationハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。
'svm'BoxConstraint, Epsilon, KernelScaleKernelFunction, PolynomialOrder, Standardize

  • Learners の値が 'all-linear' の場合、関数 fitrauto は、OptimizeHyperparameters の値が 'all' のときにハイパーパラメーター KernelFunction または PolynomialOrder を最適化しません。

  • Learners の値が 'all-nonlinear' の場合、関数 fitrauto は、OptimizeHyperparameters の値にかかわらず、KernelFunction のいずれかの値 ('gaussian' および 'polynomial') を選択します。

  • OptimizeHyperparameters 値が 'auto' のとき、Standardize 値は true です。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。

'tree'MinLeafSizeMaxNumSplitsハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。fitrauto を使用する場合、ハイパーパラメーターの検索範囲を変更できないことに注意してください。

メモ

'Learners''auto' 以外の値に設定されている場合、最適化されないモデル ハイパーパラメーターの既定値は、表のメモで示されていない限り、既定の近似関数の値と一致します。'Learners''auto' に設定されている場合、最適化されたハイパーパラメーターの検索範囲と最適化されていないハイパーパラメーターの値は、学習データの特性によって異なる場合があります。詳細は、学習器の自動選択を参照してください。

例: 'OptimizeHyperparameters','all'

最適化のオプション。'HyperparameterOptimizationOptions' と構造体から構成されるコンマ区切りのペアとして指定します。この構造体のフィールドは、すべてオプションです。

フィールド名既定の設定
MaxObjectiveEvaluations最大反復回数 (目的関数評価)30*LL は学習器の数 (Learners を参照)
MaxTime

制限時間。正の実数として指定します。制限時間の単位は、tictoc によって測定される秒です。MaxTime は関数評価を中断させないため、実行時間が MaxTime を超える可能性があります。

Inf
ShowPlotsプロットを表示するかどうかを示す論理値。true の場合、その時点における最良の目的関数の観測値と推定値が反復回数に対してプロットされます。true
SaveIntermediateResults結果を保存するかどうかを示す logical 値。true の場合、'BayesoptResults' という名前のワークスペース変数が反復ごとに上書きされます。この変数は BayesianOptimization オブジェクトです。false
Verbose

コマンド ラインに次を表示します。

  • 0 — 反復表示なし

  • 1 — 反復表示あり

  • 2 — 反復表示、および次に評価する点に関する追加情報

1
UseParallelベイズ最適化を並列実行するかどうかを示す論理値。並列実行には Parallel Computing Toolbox™ が必要です。並列でのタイミングに再現性がないため、並列ベイズ最適化で再現性のある結果が生成されるとは限りません。false
Repartition

反復ごとに交差検証を再分割するかどうかを示す論理値。false の場合、オプティマイザーは単一の分割を最適化に使用します。

分割ノイズが考慮されるので、通常は true にすると最も確実な結果が得られます。ただし、true で良好な結果を得るには、2 倍以上の関数評価が必要になります。

false
次の 3 つのオプションのいずれか 1 つのみを指定してください。
CVPartitioncvpartition によって作成された cvpartition オブジェクト交差検証フィールドが指定されていない場合 'Kfold',5
Holdoutホールドアウトの比率を表す範囲 (0,1) のスカラー
Kfold1 より大きい整数

例: 'HyperparameterOptimizationOptions',struct('UseParallel',true)

回帰のオプション

すべて折りたたむ

カテゴリカル予測子のリスト。次の表のいずれかの値として指定します。

説明
正の整数のベクトル

ベクトルの各エントリは、カテゴリカル変数が含まれている予測子データの列に対応するインデックス値です。インデックス値の範囲は 1 ~ p です。p はモデルの学習に使用した予測子の数です。

fitrauto が入力変数のサブセットを予測子として使用する場合、関数はサブセットのみを使用して予測子にインデックスを作成します。応答変数、観測値の重み変数、および関数で使用されないその他の変数は、'CategoricalPredictors' 値でカウントされません。

logical ベクトル

true というエントリは、予測子データの対応する列がカテゴリカル変数であることを意味します。ベクトルの長さは p です。

文字行列行列の各行は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。文字行列の各行が同じ長さになるように、名前を余分な空白で埋めてください。
文字ベクトルの cell 配列または string 配列配列の各要素は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。
'all'すべての予測子がカテゴリカルです。

既定では、予測子データがテーブル (Tbl) 内にある場合、fitrauto は、その変数が logical ベクトル、categorical ベクトル、文字配列、string 配列または文字ベクトルの cell 配列のいずれかである場合に、変数を categorical であると見なします。ただし、決定木を使用する学習器は、数学的に順序付けされた categorical ベクトルを連続変数と仮定します。予測子データが行列 (X) である場合、fitrauto はすべての予測子が連続的であると見なします。他の予測子をカテゴリカル予測子として指定するには、名前と値のペアの引数 'CategoricalPredictors' を使用してそれらを指定します。

近似関数がカテゴリカル予測子を扱う方法の詳細については、ダミー変数の自動作成を参照してください。

例: 'CategoricalPredictors','all'

データ型: single | double | logical | char | string | cell

予測子変数名。一意な名前の string 配列または一意な文字ベクトルの cell 配列として指定します。PredictorNames の機能は、学習データの提供方法によって決まります。

  • XY を指定した場合、PredictorNames を使用して X 内の予測子変数に名前を割り当てることができます。

    • PredictorNames 内の名前の順序は、X の列の順序に一致しなければなりません。つまり、PredictorNames{1}X(:,1) の名前、PredictorNames{2}X(:,2) の名前であり、他も同様です。また、size(X,2)numel(PredictorNames) は等しくなければなりません。

    • 既定では PredictorNames{'x1','x2',...} です。

  • Tbl を指定する場合、PredictorNames を使用して学習に使用する予測子変数を選択できます。つまり、fitrauto は、学習中に PredictorNames の予測子変数と応答変数のみを使用します。

    • PredictorNamesTbl.Properties.VariableNames のサブセットでなければならず、応答変数の名前を含めることはできません。

    • 既定では、すべての予測子変数の名前が PredictorNames に格納されます。

    • 'PredictorNames'formula の両方ではなく、いずれか一方を使用して学習用の予測子を指定することをお勧めします。

例: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

データ型: string | cell

応答変数名。文字ベクトルまたは string スカラーとして指定します。

  • Y を指定した場合、'ResponseName' を使用して応答変数の名前を指定できます。

  • ResponseVarName または formula を指定した場合、'ResponseName' を使用することはできません。

例: 'ResponseName','response'

データ型: char | string

観測値の重み。'Weights' と、正の数値ベクトル (または Tbl に含まれる変数の名前) から構成されるコンマ区切りのペアとして指定します。ソフトウェアは、X または Tbl の各観測値に、Weights の対応する値で重みを付けます。Weights の長さは、X または Tbl の行数と等しくなければなりません。

入力データをテーブル Tbl として指定した場合、Weights は数値ベクトルが含まれている Tbl 内の変数の名前にすることができます。この場合、Weights には文字ベクトルまたは string スカラーを指定しなければなりません。たとえば、重みベクトル WTbl.W として格納されている場合、'W' として指定します。それ以外の場合、モデルに学習をさせるときに、Tbl の列は W を含めてすべて予測子または応答変数として扱われます。

既定の設定では、Weightsones(n,1) です。nX または Tbl の観測値数です。

ソフトウェアは、合計が 1 になるように Weights を正規化します。

データ型: single | double | char | string

出力引数

すべて折りたたむ

学習済みの回帰モデル。次の表の回帰モデル オブジェクトのいずれかとして返されます。

学習器名返されるモデル オブジェクト
'ensemble'CompactRegressionEnsemble
'gp'CompactRegressionGP
'kernel'RegressionKernel
'linear'RegressionLinear
'svm'CompactRegressionSVM
'tree'CompactRegressionTree

最適化の結果。BayesianOptimization オブジェクトとして返されます。ベイズ最適化プロセスの詳細については、ベイズ最適化を参照してください。

詳細

すべて折りたたむ

Verbose の表示

名前と値のペアの引数 HyperparameterOptimizationOptionsVerbose フィールドを 1 または 2 に設定した場合、関数 fitrauto は最適化の結果の反復表示を提供します。

次の表では、表示される列とそのエントリについて説明します。

列名説明
Iter反復回数 — 名前と値のペアの引数 'HyperparameterOptimizationOptions'MaxObjectiveEvaluations フィールドを使用することで、反復回数の制限を設定できます。
Active workersアクティブな並列ワーカーの数 — この列は、名前と値のペアの引数 'HyperparameterOptimizationOptions'UseParallel フィールドを true に設定することにより、最適化を並列実行した場合にのみ表示されます。
Eval result

評価結果は以下のいずれかになります。

  • Best — この反復における学習器およびハイパーパラメーターの値は、それまでの計算で観測された最小の検証損失を与えます。つまり、log(1 + valLoss) 値は、それまでの計算における最小値です。

  • Accept — この反復における学習器およびハイパーパラメーターの値は、有意なもの (たとえば、非 NaN) として観測および推定された検証損失値を与えます。

  • Error — この反復における学習器およびハイパーパラメーターの値は、エラーとなります (たとえば、NaNlog(1 + valLoss) 値)。

log(1 + valLoss)この反復における学習器およびハイパーパラメーターの値について計算された、対数変換された検証損失。具体的には、fitrautolog(1 + valLoss) を計算します。ここで valLoss は、既定の設定では、交差検証平均二乗誤差 (MSE) です。名前と値のペアの引数 'HyperparameterOptimizationOptions'CVPartitionHoldoutKfold のいずれかのフィールドを使用することにより、検証方式を変更できます。
Time for training & validation (sec)この反復における学習器およびハイパーパラメーターの値を使用して、モデルの検証損失の学習と計算を行うのにかかった時間 (秒単位)。具体的には、この値にベイズ最適化プロセスによって維持された目的関数モデルの更新に必要な時間は含まれません。詳細は、ベイズ最適化を参照してください。
Observed min log(1 + valLoss)

それまでの計算により観測された最小の対数変換済み検証損失。この値は、最適化プロセスでそれまでに計算された最小の log(1 + valLoss) 値に対応します。

既定の設定では、fitrauto は、観測された最小の対数変換済み検証損失値を濃い青色の点で表示する、最適化のプロットを返します。このプロットは、名前と値のペアの引数 'HyperparameterOptimizationOptions'ShowPlots フィールドが false に設定されている場合は表示されません。

Estimated min log(1 + valLoss)

推定された最小の対数変換済み検証損失。各反復において、fitrauto は、ベイズ最適化プロセスによって維持された目的関数モデルを更新し、このモデルを使用して最小の対数変換済み検証損失を推定します。詳細は、ベイズ最適化を参照してください。

既定の設定では、fitrauto は、推定された最小の対数変換済み検証損失値を薄い青点の点で表示する、最適化のプロットを返します。このプロットは、名前と値のペアの引数 'HyperparameterOptimizationOptions'ShowPlots フィールドが false に設定されている場合は表示されません。

Learnerこの反復において評価されたモデル型。名前と値のペアの引数 'Learners' を使用して、最適化で使用される学習器を指定します。
Hyperparameter: Valueこの反復におけるハイパーパラメーターの値。名前と値のペアの引数 'OptimizeHyperparameters' を使用して、最適化で使用されるハイパーパラメーターを指定します。

次の 2 つのモデルについての説明も表示されます。

  • Best observed learner — 学習器タイプとハイパーパラメーターの値がリストされたこのモデルからは、観測された最終的な最小検証損失 (対数変換済み) が得られます。

  • Best estimated learner — 学習器タイプとハイパーパラメーターの値がリストされたこのモデルからは、推定された最終的な最小検証損失 (対数変換済み) が得られます。fitrauto は、学習データ セット全体でモデルの再学習を行い、そのモデルを Mdl 出力として返します。

ヒント

  • 指定したデータのサイズと学習器の数によっては、fitrauto の処理に時間がかかる場合があります。Parallel Computing Toolbox のライセンスがある場合、最適化を並列実行して計算を高速化することができます。これを行うには、'HyperparameterOptimizationOptions',struct('UseParallel',true) を指定します。この構造体に他のフィールドを含めて、その他の最適化の側面を制御できます。HyperparameterOptimizationOptions を参照してください。

アルゴリズム

すべて折りたたむ

学習器の自動選択

'Learners','auto' を指定した場合、関数 fitrauto は、予測子データと応答データを分析して適切な学習器を選択します。この関数は、データセットに以下の特性が含まれているかどうかを考慮します。

  • カテゴリカル予測子

  • データの 5% を超える欠損値

  • ワイド データ (予測子の数が観測値の数以上である)

  • 高次元データ (予測子の数が 100 を超える)

  • 大規模データ (観測値の数が 50,000 を超える)

選択される学習器は常に、Learners の表にリストされている学習器のサブセットになります。ただし、最適化プロセスで試行された関連モデルでは、最適化されていないハイパーパラメーターの既定値や最適化されたハイパーパラメーターの検索範囲が異なる可能性があります。

ベイズ最適化

ベイズ最適化 (一般に、最適化) の目的は、目的関数を最小化する点を見つけることです。fitrauto のコンテキストにおいて、点は学習器のタイプとその学習器の一連のハイパーパラメーター値の組み合わせであり (LearnersOptimizeHyperparameters を参照)、目的関数は log(1 + valLoss) です。ここで、valLoss は、既定では、交差検証の平均二乗誤差 (MSE) です。fitrauto で実装されるベイズ最適化は、目的関数の複数の RegressionGP モデルを内部に保持します。つまり、目的関数モデルは学習器のタイプごとに分割され、与えらえれた学習器に対して、このモデルはガウス過程回帰 (GPR) モデルになります (基となるこのモデルは、ベイズ最適化を使用する Statistics and Machine Learning Toolbox™ の他の関数で採用されている single GPR モデルとは異なります)。ベイズ最適化は、目的関数の評価を使用して基となるモデルに学習させ、獲得関数 ('expected-improvement') を使用して次に評価する点を決定します。詳細は、期待改善量を参照してください。この獲得関数は、モデル化された目的関数値が低い点での抽出と、まだ十分にはモデル化されていない領域の探索との間でバランスをとります。最適化の終わりに、fitrauto は、最適化中に評価された点の中から、目的関数のモデルの値が最小となった点を選択します。詳細については、bestPoint の名前と値のペアの引数 'Criterion','min-visited-mean' を参照してください。

代替機能

  • 使用するデータ セットに最適なモデルがわからない場合は、回帰学習器アプリを代わりに使用することができます。このアプリを使用すると、さまざまなモデルについてハイパーパラメーターを調整して、パフォーマンスが最も高い最適化済みモデルを選択できます。回帰学習器では、モデルのハイパーパラメーターを調整する前に特定のモデルを選択しなければなりませんが、最適化可能なハイパーパラメーターの選択とハイパーパラメーター値の設定をより柔軟に行うことができます。このアプリにより、さまざまな線形回帰モデルの学習を行うことも可能になります (線形回帰モデルを参照)。ただし、このアプリでは、最適化を並列実行することや、学習器として 'linear' または 'kernel' を選択すること、観測値の重みを指定することはできません。詳細は、回帰学習器アプリのハイパーパラメーターの最適化を参照してください。

  • 使用するデータに適合するモデルがわかっている場合は、対応するモデル近似関数を使用し、名前と値のペアの引数 'OptimizeHyperparameters' を指定して、ハイパーパラメーターを調整することもできます。複数のモデルの結果を比較して最適な回帰モデルを選択できます。分類モデルに適用する、このプロセスの例については、ベイズ最適化を使用したモデル選択の自動化への移行を参照してください。

拡張機能

R2020b で導入