Main Content

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

fitcauto

最適化されたハイパーパラメーターをもつ分類モデルの自動選択

説明

fitcauto は、指定した予測子と応答データに基づいて、さまざまなハイパーパラメーターの値をもつ分類モデルのタイプの選択を自動的に試します。この関数は、ベイズ最適化を使用してモデルとそのハイパーパラメーターの値を選択し、各モデルの交差検証の分類誤差を計算します。最適化が完了すると、fitcauto は、データセット全体で学習済みの、新しいデータの分類に最適であると予測したモデルを返します。返されたモデルのオブジェクト関数 predictloss を使用して、新しいデータの分類、および検定セットの分類誤差の計算をそれぞれ行うことができます。

データに最適な分類器のタイプがわからない場合は、fitcauto を使用します。分類モデルのハイパーパラメーターを調整するための代替方法については、代替機能を参照してください。

Mdl = fitcauto(Tbl,ResponseVarName) は、調整されたハイパーパラメーターをもつ分類モデル Mdl を返します。テーブル Tbl には予測子変数と応答変数を格納します。ResponseVarName は応答変数の名前です。

Mdl = fitcauto(Tbl,formula) は、formula を使用して、Tbl に含まれる変数から検討対象とする応答変数と予測子変数を指定します。

Mdl = fitcauto(Tbl,Y) は、テーブル Tbl 内の予測子変数とベクトル Y 内のクラス ラベルを使用します。

Mdl = fitcauto(X,Y) は、行列 X 内の予測子変数とベクトル Y 内のクラス ラベルを使用します。

Mdl = fitcauto(___,Name,Value) では、前の構文におけるいずれかの入力引数の組み合わせに加えて、1 つ以上の名前と値のペアの引数を使用してオプションを指定します。たとえば、名前と値のペアの引数 HyperparameterOptimizationOptions を使用して、ベイズ最適化を実行する方法を指定します。

[Mdl,OptimizationResults] = fitcauto(___) は、OptimizationResults も返します。これは、モデル選択とハイパーパラメーター調整のプロセスの結果が格納された BayesianOptimization オブジェクトです。

すべて折りたたむ

fitcauto を使用し、table で指定した予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ分類モデルを自動的に選択します。

データの読み込み

carbig データセットを読み込みます。このデータセットには、1970 年代と 1980 年代初期に製造された自動車の測定値が格納されています。

load carbig

米国製かどうかに基づいて、自動車を分類します。

Origin = categorical(cellstr(Origin));
Origin = mergecats(Origin,{'France','Japan','Germany', ...
    'Sweden','Italy','England'},'NotUSA');

AccelerationDisplacement などの予測子変数と応答変数 Origin が格納された table を作成します。

cars = table(Acceleration,Displacement,Horsepower, ...
    Model_Year,MPG,Weight,Origin);

データの分割

データを学習セットと検定セットに分割します。モデル選択とハイパーパラメーター調整のプロセスに観測値の約 80% を使用し、fitcauto によって返された最終モデルのパフォーマンスのテストに観測値の 20% を使用します。cvpartition を使用してデータを分割します。

rng('default') % For reproducibility of the data partition
c = cvpartition(Origin,'Holdout',0.2);
trainingIdx = training(c); % Training set indices
carsTrain = cars(trainingIdx,:);
testIdx = test(c); % Test set indices
carsTest = cars(testIdx,:);

fitcauto の実行

学習データを fitcauto に渡します。既定では、fitcauto は、試行する適切なモデルのタイプを決定し、ベイズ最適化を使用して適切なハイパーパラメーター値を求め、パフォーマンスが最大となることが期待される学習済みモデル Mdl を返します。

このプロセスにいくらか時間がかかることを見込んでください。Parallel Computing Toolbox™ のライセンスがある場合、最適化を並列で実行するよう指定して最適化プロセスを高速化することを検討してください。これを行うには、名前と値のペアの引数 'HyperparameterOptimizationOptions',struct('UseParallel',true)fitcauto に渡します。

Mdl = fitcauto(carsTrain,'Origin');
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|    1 | Best   |     0.12923 |      12.533 |     0.12923 |     0.12923 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              7 |
|    2 | Accept |     0.18269 |      0.6441 |     0.12923 |     0.12923 |          knn | NumNeighbors:             3 |
|    3 | Accept |     0.23397 |     0.12905 |     0.12923 |     0.20782 |          knn | NumNeighbors:            91 |
|    4 | Accept |     0.16308 |      12.228 |     0.12923 |     0.14852 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      274 |
|      |        |             |             |             |             |              | MinLeafSize:             15 |
|    5 | Accept |     0.20833 |     0.13612 |     0.12923 |     0.14852 |          knn | NumNeighbors:             4 |
|    6 | Accept |     0.22115 |     0.13461 |     0.12923 |     0.14852 |          knn | NumNeighbors:            28 |
|    7 | Accept |     0.16923 |     0.25707 |     0.12923 |     0.14852 |         tree | MinLeafSize:            105 |
|    8 | Accept |     0.37179 |     0.64601 |     0.12923 |     0.14852 |          svm | BoxConstraint:     0.022186 |
|      |        |             |             |             |             |              | KernelScale:       0.085527 |
|    9 | Accept |     0.37179 |     0.12828 |     0.12923 |     0.14852 |          svm | BoxConstraint:     0.045899 |
|      |        |             |             |             |             |              | KernelScale:      0.0024758 |
|   10 | Accept |     0.24615 |     0.99945 |     0.12923 |     0.14852 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:               1.1327 |
|   11 | Accept |     0.16923 |    0.098106 |     0.12923 |     0.14852 |         tree | MinLeafSize:             78 |
|   12 | Accept |     0.26923 |     0.11213 |     0.12923 |     0.14852 |          svm | BoxConstraint:       11.063 |
|      |        |             |             |             |             |              | KernelScale:         15.114 |
|   13 | Best   |     0.12615 |     0.10159 |     0.12615 |     0.14852 |         tree | MinLeafSize:              3 |
|   14 | Accept |     0.21154 |    0.096928 |     0.12615 |     0.14852 |          knn | NumNeighbors:             2 |
|   15 | Accept |     0.13538 |     0.10336 |     0.12615 |     0.15014 |         tree | MinLeafSize:              1 |
|   16 | Accept |     0.13538 |    0.096076 |     0.12615 |      0.1482 |         tree | MinLeafSize:              2 |
|   17 | Best   |     0.12308 |      10.115 |     0.12308 |     0.13678 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      208 |
|      |        |             |             |             |             |              | MinLeafSize:             10 |
|   18 | Accept |     0.37179 |     0.13789 |     0.12308 |     0.13678 |          svm | BoxConstraint:       116.46 |
|      |        |             |             |             |             |              | KernelScale:        0.52908 |
|   19 | Accept |     0.22769 |     0.16645 |     0.12308 |     0.13678 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   20 | Accept |     0.22115 |    0.087468 |     0.12308 |     0.13678 |          knn | NumNeighbors:             8 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|   21 | Accept |     0.37179 |     0.13455 |     0.12308 |     0.13678 |          svm | BoxConstraint:       45.341 |
|      |        |             |             |             |             |              | KernelScale:        0.76949 |
|   22 | Accept |     0.12615 |     0.10641 |     0.12308 |     0.13678 |         tree | MinLeafSize:              3 |
|   23 | Best   |     0.10769 |    0.075704 |     0.10769 |     0.13678 |         tree | MinLeafSize:              5 |
|   24 | Accept |     0.22769 |     0.28513 |     0.10769 |     0.13678 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:              0.42571 |
|   25 | Accept |     0.12615 |    0.072307 |     0.10769 |     0.13846 |         tree | MinLeafSize:             11 |
|   26 | Accept |     0.13782 |    0.084552 |     0.10769 |     0.13846 |          svm | BoxConstraint:       9.7286 |
|      |        |             |             |             |             |              | KernelScale:         293.41 |
|   27 | Accept |     0.22769 |    0.098663 |     0.10769 |     0.13846 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   28 | Accept |     0.21795 |    0.087931 |     0.10769 |     0.13846 |          knn | NumNeighbors:            42 |
|   29 | Accept |     0.24308 |     0.26915 |     0.10769 |     0.13846 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:               4.4662 |
|   30 | Accept |     0.16308 |      11.221 |     0.10769 |     0.13846 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      267 |
|      |        |             |             |             |             |              | MinLeafSize:            131 |
|   31 | Accept |     0.24308 |     0.26485 |     0.10769 |     0.13846 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:              0.66296 |
|   32 | Accept |     0.22115 |    0.067784 |     0.10769 |     0.13846 |          knn | NumNeighbors:            28 |
|   33 | Accept |     0.13846 |     0.11902 |     0.10769 |     0.13714 |         tree | MinLeafSize:             25 |
|   34 | Accept |     0.21474 |     0.07273 |     0.10769 |     0.13714 |          knn | NumNeighbors:            14 |
|   35 | Accept |     0.16615 |      9.2855 |     0.10769 |     0.13714 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      215 |
|      |        |             |             |             |             |              | MinLeafSize:             13 |
|   36 | Accept |     0.15077 |      11.786 |     0.10769 |     0.13714 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      254 |
|      |        |             |             |             |             |              | MinLeafSize:             31 |
|   37 | Accept |     0.22769 |    0.081882 |     0.10769 |     0.13714 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   38 | Accept |     0.37179 |     0.07709 |     0.10769 |     0.13714 |          svm | BoxConstraint:    0.0073633 |
|      |        |             |             |             |             |              | KernelScale:         774.33 |
|   39 | Accept |     0.16923 |    0.077139 |     0.10769 |      0.1325 |         tree | MinLeafSize:             82 |
|   40 | Accept |     0.20833 |    0.087004 |     0.10769 |      0.1325 |          knn | NumNeighbors:             4 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|   41 | Accept |     0.16308 |      12.164 |     0.10769 |      0.1325 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      274 |
|      |        |             |             |             |             |              | MinLeafSize:            150 |
|   42 | Accept |     0.22462 |     0.28662 |     0.10769 |      0.1325 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:               121.64 |
|   43 | Accept |     0.17846 |      10.427 |     0.10769 |      0.1325 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      229 |
|      |        |             |             |             |             |              | MinLeafSize:            117 |
|   44 | Accept |     0.16923 |    0.088318 |     0.10769 |     0.12874 |         tree | MinLeafSize:             84 |
|   45 | Accept |     0.22769 |    0.079169 |     0.10769 |     0.12874 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   46 | Accept |     0.22769 |    0.065898 |     0.10769 |     0.12874 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   47 | Accept |     0.16615 |      9.3444 |     0.10769 |     0.12874 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      212 |
|      |        |             |             |             |             |              | MinLeafSize:             49 |
|   48 | Accept |     0.14154 |      13.721 |     0.10769 |     0.12874 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      288 |
|      |        |             |             |             |             |              | MinLeafSize:             25 |
|   49 | Accept |     0.23077 |      0.2725 |     0.10769 |     0.12874 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:               73.249 |
|   50 | Accept |     0.37179 |     0.11629 |     0.10769 |     0.12874 |          svm | BoxConstraint:    0.0036501 |
|      |        |             |             |             |             |              | KernelScale:         1.0504 |
|   51 | Accept |     0.21474 |     0.14443 |     0.10769 |     0.12874 |          svm | BoxConstraint:       64.859 |
|      |        |             |             |             |             |              | KernelScale:         23.779 |
|   52 | Accept |     0.37179 |     0.11504 |     0.10769 |     0.12874 |          svm | BoxConstraint:      0.16622 |
|      |        |             |             |             |             |              | KernelScale:         4.4901 |
|   53 | Accept |     0.25846 |     0.26577 |     0.10769 |     0.12874 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:             0.079498 |
|   54 | Accept |     0.21154 |     0.07558 |     0.10769 |     0.12874 |          knn | NumNeighbors:             2 |
|   55 | Accept |     0.12308 |      11.525 |     0.10769 |     0.12874 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      234 |
|      |        |             |             |             |             |              | MinLeafSize:              8 |
|   56 | Accept |     0.36538 |     0.11498 |     0.10769 |     0.12874 |          svm | BoxConstraint:        271.6 |
|      |        |             |             |             |             |              | KernelScale:          2.743 |
|   57 | Accept |     0.16615 |      9.9644 |     0.10769 |     0.12874 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      248 |
|      |        |             |             |             |             |              | MinLeafSize:            117 |
|   58 | Accept |     0.37179 |     0.10707 |     0.10769 |     0.12874 |          svm | BoxConstraint:       7.5785 |
|      |        |             |             |             |             |              | KernelScale:      0.0066815 |
|   59 | Accept |     0.37179 |     0.10387 |     0.10769 |     0.12874 |          svm | BoxConstraint:    0.0017765 |
|      |        |             |             |             |             |              | KernelScale:        0.86786 |
|   60 | Accept |     0.37179 |     0.11451 |     0.10769 |     0.12874 |          svm | BoxConstraint:     0.011465 |
|      |        |             |             |             |             |              | KernelScale:        0.02747 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|   61 | Accept |     0.12308 |    0.075995 |     0.10769 |     0.12862 |         tree | MinLeafSize:             12 |
|   62 | Accept |     0.29167 |     0.12678 |     0.10769 |     0.12862 |          svm | BoxConstraint:       11.939 |
|      |        |             |             |             |             |              | KernelScale:         11.002 |
|   63 | Accept |     0.21795 |    0.085439 |     0.10769 |     0.12862 |          knn | NumNeighbors:             6 |
|   64 | Accept |     0.18269 |    0.075299 |     0.10769 |     0.12862 |          knn | NumNeighbors:             3 |
|   65 | Accept |     0.12615 |     0.09094 |     0.10769 |      0.1273 |         tree | MinLeafSize:              3 |
|   66 | Accept |     0.16923 |    0.074034 |     0.10769 |     0.12662 |         tree | MinLeafSize:             56 |
|   67 | Accept |      0.1891 |    0.068062 |     0.10769 |     0.12662 |          knn | NumNeighbors:             1 |
|   68 | Accept |     0.11692 |      12.685 |     0.10769 |     0.12662 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      270 |
|      |        |             |             |             |             |              | MinLeafSize:              4 |
|   69 | Accept |     0.22769 |     0.08331 |     0.10769 |     0.12662 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   70 | Accept |     0.37231 |     0.23243 |     0.10769 |     0.12662 |           nb | DistributionNames:   kernel |
|      |        |             |             |             |             |              | Width:               1629.5 |
|   71 | Accept |     0.16923 |     0.07617 |     0.10769 |     0.12684 |         tree | MinLeafSize:             61 |
|   72 | Accept |     0.22769 |    0.076927 |     0.10769 |     0.12684 |           nb | DistributionNames:   normal |
|      |        |             |             |             |             |              | Width:                  NaN |
|   73 | Accept |     0.16308 |      9.7631 |     0.10769 |     0.12684 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      217 |
|      |        |             |             |             |             |              | MinLeafSize:             70 |
|   74 | Accept |     0.10769 |      12.552 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   75 | Accept |     0.21474 |    0.091663 |     0.10769 |     0.12684 |          knn | NumNeighbors:            49 |
|   76 | Accept |     0.11077 |      10.027 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      221 |
|      |        |             |             |             |             |              | MinLeafSize:              5 |
|   77 | Accept |        0.16 |      8.1869 |     0.10769 |     0.12684 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      203 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   78 | Accept |     0.11385 |      10.992 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      228 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   79 | Accept |     0.15692 |      12.232 |     0.10769 |     0.12684 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      293 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   80 | Accept |     0.12923 |      10.523 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      222 |
|      |        |             |             |             |             |              | MinLeafSize:              5 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|   81 | Accept |     0.12308 |      11.281 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      233 |
|      |        |             |             |             |             |              | MinLeafSize:             11 |
|   82 | Accept |     0.11385 |      14.304 |     0.10769 |     0.12684 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      290 |
|      |        |             |             |             |             |              | MinLeafSize:              3 |
|   83 | Accept |     0.10769 |      12.236 |     0.10769 |     0.11724 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      260 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   84 | Best   |     0.10154 |       12.57 |     0.10154 |     0.11441 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   85 | Accept |     0.16308 |      11.827 |     0.10154 |     0.11544 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   86 | Accept |     0.10769 |      14.658 |     0.10154 |     0.11317 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      295 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   87 | Accept |     0.10769 |      12.049 |     0.10154 |     0.11209 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      255 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   88 | Accept |     0.10462 |      12.346 |     0.10154 |     0.11125 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      261 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   89 | Accept |     0.11077 |      12.551 |     0.10154 |     0.10964 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      263 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   90 | Accept |     0.10769 |      12.461 |     0.10154 |     0.10895 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   91 | Accept |     0.10769 |      12.168 |     0.10154 |     0.10907 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      254 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   92 | Accept |     0.10462 |      12.397 |     0.10154 |     0.10811 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   93 | Accept |     0.16308 |      11.293 |     0.10154 |     0.10882 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      255 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   94 | Accept |     0.10769 |      12.364 |     0.10154 |     0.10734 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      255 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   95 | Accept |     0.11385 |      12.225 |     0.10154 |     0.10821 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      255 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   96 | Accept |     0.10769 |      12.369 |     0.10154 |     0.10809 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   97 | Accept |     0.11077 |      12.488 |     0.10154 |     0.10714 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      258 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|   98 | Accept |     0.10769 |      12.439 |     0.10154 |     0.10802 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|   99 | Accept |     0.10769 |      12.361 |     0.10154 |      0.1069 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  100 | Accept |     0.11692 |      12.373 |     0.10154 |     0.10736 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|  101 | Accept |     0.16308 |      10.816 |     0.10154 |     0.10799 |     ensemble | Method:          LogitBoost |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  102 | Accept |     0.11385 |      9.9363 |     0.10154 |     0.10789 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      210 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  103 | Accept |     0.11385 |      10.353 |     0.10154 |     0.11056 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  104 | Accept |        0.12 |      10.401 |     0.10154 |     0.11008 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  105 | Accept |     0.11077 |       11.72 |     0.10154 |     0.10913 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      293 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  106 | Accept |     0.10769 |      10.452 |     0.10154 |     0.10878 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  107 | Accept |     0.10769 |      10.517 |     0.10154 |     0.10934 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  108 | Accept |     0.11077 |      8.3766 |     0.10154 |     0.10939 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  109 | Accept |     0.10769 |      10.549 |     0.10154 |     0.10883 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      261 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  110 | Accept |     0.11692 |      10.478 |     0.10154 |     0.10961 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      259 |
|      |        |             |             |             |             |              | MinLeafSize:              4 |
|  111 | Accept |     0.11385 |       12.05 |     0.10154 |     0.10869 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      295 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  112 | Accept |        0.12 |       11.95 |     0.10154 |      0.1083 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      294 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  113 | Accept |     0.11385 |      10.329 |     0.10154 |     0.10891 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      255 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  114 | Accept |     0.11077 |      11.196 |     0.10154 |     0.10922 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      260 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  115 | Accept |     0.10462 |      12.305 |     0.10154 |     0.10804 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  116 | Accept |     0.11385 |      12.352 |     0.10154 |     0.10886 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              4 |
|  117 | Best   |    0.098462 |       9.241 |    0.098462 |     0.10878 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  118 | Accept |     0.10769 |      9.6282 |    0.098462 |     0.10917 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  119 | Accept |     0.11077 |      8.5028 |    0.098462 |     0.10922 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  120 | Accept |     0.12615 |      9.0029 |    0.098462 |     0.10942 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|  121 | Accept |     0.11385 |      10.752 |    0.098462 |     0.10963 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  122 | Accept |     0.10769 |      10.986 |    0.098462 |      0.1089 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  123 | Accept |     0.10462 |      10.936 |    0.098462 |     0.10864 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  124 | Accept |     0.11077 |      10.384 |    0.098462 |     0.10889 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  125 | Accept |     0.10769 |      10.391 |    0.098462 |     0.10903 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  126 | Accept |     0.11385 |      8.3687 |    0.098462 |     0.10863 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      202 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  127 | Accept |     0.11385 |      10.703 |    0.098462 |     0.10838 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      261 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  128 | Accept |     0.11077 |      9.8426 |    0.098462 |     0.10872 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      243 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  129 | Accept |     0.11077 |      8.1229 |    0.098462 |     0.10861 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      202 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  130 | Accept |     0.11385 |      10.625 |    0.098462 |     0.10918 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  131 | Accept |     0.11077 |       10.54 |    0.098462 |     0.10936 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      254 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  132 | Accept |     0.11077 |      10.936 |    0.098462 |     0.10902 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  133 | Accept |     0.12923 |      10.934 |    0.098462 |      0.1098 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  134 | Accept |     0.11077 |      10.599 |    0.098462 |     0.10985 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  135 | Accept |     0.10769 |      8.3652 |    0.098462 |     0.10981 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      200 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  136 | Accept |     0.10769 |      8.6695 |    0.098462 |      0.1097 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  137 | Accept |     0.11385 |      8.1568 |    0.098462 |     0.10997 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      200 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  138 | Accept |     0.10769 |      8.1314 |    0.098462 |     0.10951 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      200 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  139 | Accept |     0.11385 |      8.1919 |    0.098462 |     0.11039 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      200 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  140 | Accept |     0.11385 |      11.537 |    0.098462 |     0.10919 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      261 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|====================================================================================================================|
|  141 | Accept |     0.10769 |      8.5051 |    0.098462 |     0.10985 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  142 | Accept |     0.11692 |      9.7003 |    0.098462 |     0.10953 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      236 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  143 | Accept |     0.10462 |      11.018 |    0.098462 |     0.10932 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      262 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  144 | Accept |     0.12308 |      11.197 |    0.098462 |     0.10945 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      262 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  145 | Accept |     0.11692 |      8.3426 |    0.098462 |     0.11056 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  146 | Accept |     0.11692 |       8.728 |    0.098462 |     0.10939 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              4 |
|  147 | Accept |     0.11692 |      10.952 |    0.098462 |     0.11014 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      259 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  148 | Accept |        0.12 |      8.5123 |    0.098462 |     0.10999 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      201 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |
|  149 | Accept |     0.11077 |      10.694 |    0.098462 |     0.11039 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |        |             |             |             |             |              | MinLeafSize:              2 |
|  150 | Accept |     0.10769 |      10.999 |    0.098462 |     0.10991 |     ensemble | Method:                 Bag |
|      |        |             |             |             |             |              | NumLearningCycles:      260 |
|      |        |             |             |             |             |              | MinLeafSize:              1 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 150 reached.
Total function evaluations: 150
Total elapsed time: 1758.9912 seconds.
Total objective function evaluation time: 985.2563

Best observed feasible point is an ensemble model with:
	Method:                 Bag
	NumLearningCycles:      201
	MinLeafSize:              1

Observed objective function value = 0.098462
Estimated objective function value = 0.11265
Function evaluation time = 9.241

Best estimated feasible point (according to models) is an ensemble model with:
	Method:                 Bag
	NumLearningCycles:      256
	MinLeafSize:              1

Estimated objective function value = 0.10991
Estimated function evaluation time = 11.0259

fitcauto によって返される最終的なモデルは、最適な推定実行可能点に相当します。モデルを返す前に、関数は学習データ全体 (carsTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

検定セットのパフォーマンスの評価

検定セットに対するモデルのパフォーマンスを評価します。

testAccuracy = 1 - loss(Mdl,carsTest,'Origin')
testAccuracy = 0.9520
confusionchart(carsTest.Origin,predict(Mdl,carsTest))

fitcauto を使用し、個別の変数で指定した予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ分類モデルを自動的に選択します。

データの読み込み

humanactivity データセットを読み込みます。このデータセットには、人間の次の 5 種類の身体動作についての 24,075 個の観測値が含まれています。座る (1)、立つ (2)、歩く (3)、走る (4)、踊る (5)。各観測値には、スマートフォンの加速度センサーによって測定された加速度データから抽出した 60 個の特徴量が含まれています。変数 feat には、24,075 個の観測値に関する 60 個の特徴量から成る予測子データ行列が格納され、応答変数 actid には、観測値の身体動作 ID が整数として格納されています。

load humanactivity

データの分割

データを学習セットと検定セットに分割します。モデルの選択に観測値の 90% を使用し、fitcauto によって返された最終モデルの検証に観測値の 10% を使用します。cvpartition を使用して、観測値の 10% を検定用に確保します。

rng('default') % For reproducibility of the partition
c = cvpartition(actid,'Holdout',0.10);
trainingIndices = training(c); % Indices for the training set
XTrain = feat(trainingIndices,:);
YTrain = actid(trainingIndices);
testIndices = test(c); % Indices for the test set
XTest = feat(testIndices,:);
YTest = actid(testIndices);

fitcauto の実行

学習データを fitcauto に渡します。既定では、fitcauto は、試行する適切なモデル (学習器) のタイプを決定し、ベイズ最適化を使用してこれらのモデルの適切なハイパーパラメーター値を求め、パフォーマンスが最大となることが期待される学習済みモデルを返します。最適化を並列実行するよう指定します (Parallel Computing Toolbox™ が必要)。ベイズ最適化の詳細が格納された 2 番目の出力 OptimizationResults を返します。

このモデル選択プロセスにいくらか時間がかかることを見込んでください。

options = struct('UseParallel',true);
[Mdl,OptimizationResults] = fitcauto(XTrain,YTrain,'HyperparameterOptimizationOptions',options);
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|    1 |       6 | Best   |     0.28088 |      51.451 |     0.28088 |     0.28088 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.22686 |
|      |         |        |             |             |             |             |              | KernelScale:          330.4 |
|    2 |       5 | Accept |    0.036413 |      60.195 |    0.025845 |     0.11438 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      254 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1786 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|    3 |       5 | Best   |    0.025845 |      5.5008 |    0.025845 |     0.11438 |         tree | MinLeafSize:             59 |
|    4 |       6 | Best   |    0.017722 |      6.6481 |    0.017722 |    0.021702 |         tree | MinLeafSize:              9 |
|    5 |       6 | Accept |    0.017722 |      6.4868 |    0.017722 |    0.020592 |         tree | MinLeafSize:              9 |
|    6 |       6 | Best   |   0.0064611 |      79.739 |   0.0064611 |    0.020592 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      214 |
|      |         |        |             |             |             |             |              | MinLeafSize:              5 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            23 |
|    7 |       6 | Accept |    0.050212 |       1.278 |   0.0064611 |    0.020592 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|    8 |       6 | Accept |    0.050212 |      1.2476 |   0.0064611 |    0.020592 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|    9 |       6 | Accept |     0.02266 |      189.95 |   0.0064611 |    0.020592 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      218 |
|      |         |        |             |             |             |             |              | MinLeafSize:              2 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            63 |
|   10 |       6 | Accept |    0.033598 |      203.62 |   0.0064611 |    0.020592 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      264 |
|      |         |        |             |             |             |             |              | MinLeafSize:              7 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            36 |
|   11 |       6 | Accept |     0.59166 |      28.752 |   0.0064611 |    0.020592 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:           4.7212e-14 |
|   12 |       6 | Accept |     0.04389 |      155.77 |   0.0064611 |    0.020592 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.068467 |
|      |         |        |             |             |             |             |              | KernelScale:         117.01 |
|   13 |       6 | Accept |    0.021599 |      60.254 |   0.0064611 |    0.020592 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      243 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1247 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            45 |
|   14 |       6 | Accept |    0.043567 |       23.25 |   0.0064611 |    0.020592 |          knn | NumNeighbors:           144 |
|   15 |       6 | Accept |    0.028844 |      22.102 |   0.0064611 |    0.020592 |          knn | NumNeighbors:            18 |
|   16 |       6 | Accept |    0.024598 |      22.408 |   0.0064611 |    0.020592 |          knn | NumNeighbors:             7 |
|   17 |       6 | Accept |     0.03009 |      21.623 |   0.0064611 |    0.020592 |          knn | NumNeighbors:            27 |
|   18 |       6 | Accept |    0.016891 |      7.2949 |   0.0064611 |    0.019464 |         tree | MinLeafSize:              2 |
|   19 |       6 | Accept |    0.040059 |      4.3418 |   0.0064611 |    0.022968 |         tree | MinLeafSize:            166 |
|   20 |       6 | Accept |    0.060319 |      2.5459 |   0.0064611 |    0.023364 |         tree | MinLeafSize:           1881 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   21 |       6 | Accept |    0.050212 |      1.1819 |   0.0064611 |    0.023364 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   22 |       6 | Accept |    0.036552 |      21.442 |   0.0064611 |    0.023364 |          knn | NumNeighbors:            67 |
|   23 |       6 | Accept |    0.050212 |     0.69192 |   0.0064611 |    0.023364 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   24 |       6 | Accept |     0.11076 |       37.67 |   0.0064611 |    0.023364 |          knn | NumNeighbors:          2637 |
|   25 |       6 | Accept |     0.28711 |      69.473 |   0.0064611 |    0.030365 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      287 |
|      |         |        |             |             |             |             |              | MinLeafSize:           4344 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            48 |
|   26 |       6 | Accept |     0.58127 |       32.81 |   0.0064611 |    0.030365 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:           1.6293e-06 |
|   27 |       6 | Accept |    0.015784 |       7.406 |   0.0064611 |    0.027375 |         tree | MinLeafSize:              1 |
|   28 |       6 | Accept |     0.59166 |      383.03 |   0.0064611 |    0.027375 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:        790.4 |
|      |         |        |             |             |             |             |              | KernelScale:       0.014348 |
|   29 |       6 | Accept |    0.069319 |      1.9964 |   0.0064611 |    0.034633 |         tree | MinLeafSize:           2284 |
|   30 |       6 | Accept |    0.043336 |      3.5634 |   0.0064611 |    0.033826 |         tree | MinLeafSize:            432 |
|   31 |       6 | Accept |     0.10555 |      35.914 |   0.0064611 |    0.033826 |          knn | NumNeighbors:          2430 |
|   32 |       6 | Accept |    0.021183 |      6.3954 |   0.0064611 |    0.021851 |         tree | MinLeafSize:             17 |
|   33 |       6 | Accept |    0.050212 |       1.098 |   0.0064611 |    0.021851 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   34 |       6 | Accept |    0.014353 |      62.709 |   0.0064611 |    0.021851 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      234 |
|      |         |        |             |             |             |             |              | MinLeafSize:            587 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            11 |
|   35 |       6 | Accept |    0.043428 |      191.69 |   0.0064611 |    0.021851 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      288 |
|      |         |        |             |             |             |             |              | MinLeafSize:             45 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            23 |
|   36 |       6 | Accept |      0.4226 |      559.17 |   0.0064611 |    0.021851 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:               72.906 |
|   37 |       6 | Accept |     0.74165 |       25.64 |   0.0064611 |    0.021851 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      217 |
|      |         |        |             |             |             |             |              | MinLeafSize:           8856 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            36 |
|   38 |       6 | Accept |     0.59166 |      27.996 |   0.0064611 |    0.021851 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:            1.191e-07 |
|   39 |       6 | Best   |   0.0041074 |      91.985 |   0.0041074 |    0.021851 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      210 |
|      |         |        |             |             |             |             |              | MinLeafSize:            129 |
|      |         |        |             |             |             |             |              | MaxNumSplits:           100 |
|   40 |       6 | Accept |     0.73985 |      542.35 |   0.0041074 |    0.021851 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:               1055.8 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   41 |       5 | Accept |     0.57615 |      353.08 |   0.0041074 |    0.021851 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       2.2347 |
|      |         |        |             |             |             |             |              | KernelScale:        0.16176 |
|   42 |       5 | Accept |    0.087087 |       32.51 |   0.0041074 |    0.021851 |          knn | NumNeighbors:          1634 |
|   43 |       6 | Accept |    0.050212 |     0.85611 |   0.0041074 |    0.021851 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   44 |       6 | Accept |    0.050212 |     0.75838 |   0.0041074 |    0.021851 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   45 |       6 | Accept |    0.025891 |       21.86 |   0.0041074 |    0.021851 |          knn | NumNeighbors:             6 |
|   46 |       6 | Accept |    0.030414 |       162.3 |   0.0041074 |    0.021851 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      206 |
|      |         |        |             |             |             |             |              | MinLeafSize:              5 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            39 |
|   47 |       6 | Accept |     0.03286 |      178.49 |   0.0041074 |    0.021851 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      234 |
|      |         |        |             |             |             |             |              | MinLeafSize:             73 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            43 |
|   48 |       6 | Accept |    0.037244 |      156.66 |   0.0041074 |    0.021851 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       5.9571 |
|      |         |        |             |             |             |             |              | KernelScale:         840.87 |
|   49 |       6 | Accept |     0.01703 |      7.0967 |   0.0041074 |    0.020426 |         tree | MinLeafSize:              4 |
|   50 |       6 | Accept |    0.017168 |      6.8667 |   0.0041074 |      0.0183 |         tree | MinLeafSize:              5 |
|   51 |       6 | Accept |    0.039321 |      221.28 |   0.0041074 |      0.0183 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      299 |
|      |         |        |             |             |             |             |              | MinLeafSize:             31 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            25 |
|   52 |       6 | Accept |    0.046474 |      199.35 |   0.0041074 |      0.0183 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       2.9119 |
|      |         |        |             |             |             |             |              | KernelScale:         12.771 |
|   53 |       6 | Accept |     0.59166 |      433.93 |   0.0041074 |      0.0183 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       92.735 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0010711 |
|   54 |       6 | Accept |    0.054135 |      3.7916 |   0.0041074 |    0.018419 |         tree | MinLeafSize:            783 |
|   55 |       6 | Accept |    0.049797 |      27.695 |   0.0041074 |    0.018419 |          knn | NumNeighbors:           331 |
|   56 |       6 | Accept |    0.046566 |      26.856 |   0.0041074 |    0.018419 |          knn | NumNeighbors:           193 |
|   57 |       6 | Accept |    0.049197 |      188.34 |   0.0041074 |    0.018419 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      253 |
|      |         |        |             |             |             |             |              | MinLeafSize:             14 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            22 |
|   58 |       6 | Accept |    0.022706 |      25.765 |   0.0041074 |    0.018419 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       1.3505 |
|      |         |        |             |             |             |             |              | KernelScale:         127.55 |
|   59 |       6 | Accept |    0.028798 |      5.7904 |   0.0041074 |    0.018856 |         tree | MinLeafSize:             84 |
|   60 |       6 | Accept |    0.041351 |      29.766 |   0.0041074 |    0.018856 |          knn | NumNeighbors:           124 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   61 |       6 | Accept |    0.030044 |      28.239 |   0.0041074 |    0.018856 |          knn | NumNeighbors:            26 |
|   62 |       6 | Accept |     0.11838 |      295.65 |   0.0041074 |    0.018856 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0027874 |
|      |         |        |             |             |             |             |              | KernelScale:         33.944 |
|   63 |       6 | Accept |     0.47116 |       55.67 |   0.0041074 |    0.018856 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:           4.7553e-05 |
|   64 |       6 | Accept |     0.26574 |      104.02 |   0.0041074 |    0.018856 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:            0.0011441 |
|   65 |       6 | Accept |    0.050212 |     0.69002 |   0.0041074 |    0.018856 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   66 |       6 | Accept |    0.017168 |      6.7802 |   0.0041074 |    0.018674 |         tree | MinLeafSize:              5 |
|   67 |       6 | Accept |    0.077072 |      281.55 |   0.0041074 |    0.018674 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:             0.026902 |
|   68 |       6 | Accept |    0.031613 |      26.638 |   0.0041074 |    0.018674 |          knn | NumNeighbors:            33 |
|   69 |       6 | Accept |     0.02003 |      108.02 |   0.0041074 |    0.018674 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       609.47 |
|      |         |        |             |             |             |             |              | KernelScale:          39.88 |
|   70 |       6 | Accept |     0.14141 |      92.623 |   0.0041074 |    0.018674 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      292 |
|      |         |        |             |             |             |             |              | MinLeafSize:           3870 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            33 |
|   71 |       6 | Accept |     0.01103 |      74.107 |   0.0041074 |    0.018674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      214 |
|      |         |        |             |             |             |             |              | MinLeafSize:            203 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            14 |
|   72 |       6 | Accept |   0.0093225 |      78.987 |   0.0041074 |    0.018674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      225 |
|      |         |        |             |             |             |             |              | MinLeafSize:            461 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            45 |
|   73 |       6 | Accept |   0.0081226 |      75.993 |   0.0041074 |    0.018674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      212 |
|      |         |        |             |             |             |             |              | MinLeafSize:            224 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            19 |
|   74 |       6 | Accept |   0.0086302 |      75.677 |   0.0041074 |    0.011486 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      206 |
|      |         |        |             |             |             |             |              | MinLeafSize:            372 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            66 |
|   75 |       6 | Accept |    0.012461 |      69.727 |   0.0041074 |   0.0099707 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      219 |
|      |         |        |             |             |             |             |              | MinLeafSize:            602 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            16 |
|   76 |       6 | Accept |    0.011907 |      66.364 |   0.0041074 |    0.018674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      206 |
|      |         |        |             |             |             |             |              | MinLeafSize:            535 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            17 |
|   77 |       6 | Accept |    0.066227 |      125.89 |   0.0041074 |   0.0096155 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      210 |
|      |         |        |             |             |             |             |              | MinLeafSize:            579 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            44 |
|   78 |       6 | Accept |    0.014168 |      64.533 |   0.0041074 |    0.018674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |         |        |             |             |             |             |              | MinLeafSize:            670 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            21 |
|   79 |       6 | Accept |    0.012276 |      73.034 |   0.0041074 |   0.0096795 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      228 |
|      |         |        |             |             |             |             |              | MinLeafSize:            614 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            94 |
|   80 |       6 | Accept |    0.017353 |      61.294 |   0.0041074 |   0.0094804 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      204 |
|      |         |        |             |             |             |             |              | MinLeafSize:            772 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            13 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   81 |       6 | Accept |     0.01846 |      61.652 |   0.0041074 |   0.0084959 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      211 |
|      |         |        |             |             |             |             |              | MinLeafSize:            879 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            79 |
|   82 |       6 | Accept |    0.016937 |      67.027 |   0.0041074 |   0.0092617 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      227 |
|      |         |        |             |             |             |             |              | MinLeafSize:            805 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            20 |
|   83 |       6 | Accept |    0.012876 |      256.48 |   0.0041074 |   0.0092617 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       501.55 |
|      |         |        |             |             |             |             |              | KernelScale:         190.02 |
|   84 |       6 | Accept |    0.017537 |      61.538 |   0.0041074 |   0.0091728 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |         |        |             |             |             |             |              | MinLeafSize:            836 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            40 |
|   85 |       6 | Accept |     0.01463 |        43.6 |   0.0041074 |   0.0091728 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       397.97 |
|      |         |        |             |             |             |             |              | KernelScale:         310.04 |
|   86 |       6 | Accept |    0.025522 |      24.217 |   0.0041074 |   0.0091728 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:        36.55 |
|      |         |        |             |             |             |             |              | KernelScale:         658.03 |
|   87 |       6 | Accept |     0.01703 |      68.966 |   0.0041074 |   0.0092732 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      230 |
|      |         |        |             |             |             |             |              | MinLeafSize:            822 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            22 |
|   88 |       6 | Accept |    0.021137 |      114.19 |   0.0041074 |   0.0092732 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       593.64 |
|      |         |        |             |             |             |             |              | KernelScale:         37.983 |
|   89 |       6 | Accept |     0.59166 |      2089.7 |   0.0041074 |   0.0092732 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.045413 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0034709 |
|   90 |       6 | Accept |    0.019799 |      57.157 |   0.0041074 |   0.0089505 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      202 |
|      |         |        |             |             |             |             |              | MinLeafSize:            962 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            81 |
|   91 |       6 | Accept |    0.085472 |      118.41 |   0.0041074 |   0.0089505 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       855.69 |
|      |         |        |             |             |             |             |              | KernelScale:         6.5486 |
|   92 |       6 | Accept |     0.02003 |      59.729 |   0.0041074 |   0.0095371 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      216 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1004 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|   93 |       6 | Accept |    0.019845 |      58.677 |   0.0041074 |   0.0095584 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      208 |
|      |         |        |             |             |             |             |              | MinLeafSize:            926 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            32 |
|   94 |       6 | Accept |    0.021506 |      59.315 |   0.0041074 |    0.011473 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      216 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1063 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            82 |
|   95 |       6 | Accept |    0.022383 |      55.893 |   0.0041074 |   0.0091004 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      205 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1150 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            11 |
|   96 |       6 | Accept |    0.054966 |      273.69 |   0.0041074 |   0.0091004 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:          550 |
|      |         |        |             |             |             |             |              | KernelScale:          10.56 |
|   97 |       6 | Accept |    0.021322 |      64.607 |   0.0041074 |   0.0089091 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      229 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1111 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            52 |
|   98 |       6 | Accept |    0.021691 |      60.128 |   0.0041074 |   0.0083855 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      213 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1112 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            14 |
|   99 |       6 | Accept |     0.59166 |      2658.6 |   0.0041074 |   0.0083855 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.98129 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0054937 |
|  100 |       6 | Accept |     0.22499 |      820.13 |   0.0041074 |   0.0083855 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       869.37 |
|      |         |        |             |             |             |             |              | KernelScale:         1.5553 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  101 |       6 | Accept |    0.021691 |       63.07 |   0.0041074 |    0.008821 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      228 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1180 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            83 |
|  102 |       6 | Accept |     0.02206 |      57.161 |   0.0041074 |   0.0095876 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1208 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            17 |
|  103 |       6 | Accept |    0.022014 |      59.267 |   0.0041074 |   0.0094147 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      217 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1187 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            61 |
|  104 |       6 | Accept |     0.23763 |      216.82 |   0.0041074 |   0.0094147 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:        512.6 |
|      |         |        |             |             |             |             |              | KernelScale:         1.2736 |
|  105 |       6 | Accept |    0.050212 |     0.76452 |   0.0041074 |   0.0094147 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|  106 |       6 | Accept |    0.023352 |      259.58 |   0.0041074 |    0.010382 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      220 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1372 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            96 |
|  107 |       6 | Accept |    0.022983 |      60.428 |   0.0041074 |   0.0092473 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      219 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1293 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            25 |
|  108 |       6 | Accept |    0.022568 |      62.238 |   0.0041074 |   0.0094314 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      231 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1344 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            19 |
|  109 |       6 | Accept |    0.025383 |      59.558 |   0.0041074 |   0.0091873 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      222 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1404 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|  110 |       6 | Accept |    0.022522 |      65.564 |   0.0041074 |    0.009405 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      243 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1360 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            14 |
|  111 |       6 | Accept |    0.022799 |      61.264 |   0.0041074 |   0.0091171 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      226 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1356 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            90 |
|  112 |       6 | Accept |    0.058935 |      45.569 |   0.0041074 |   0.0096787 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2521 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            33 |
|  113 |       6 | Accept |    0.022937 |       64.08 |   0.0041074 |   0.0087354 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      231 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1383 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            88 |
|  114 |       6 | Accept |    0.027783 |      59.671 |   0.0041074 |    0.012899 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      224 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1551 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            20 |
|  115 |       6 | Accept |    0.027737 |      53.366 |   0.0041074 |   0.0096795 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      203 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1548 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            11 |
|  116 |       6 | Accept |    0.027137 |        62.9 |   0.0041074 |    0.009529 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      227 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1479 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            10 |
|  117 |       6 | Accept |     0.59166 |        3642 |   0.0041074 |    0.009529 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       658.37 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0016161 |
|  118 |       6 | Accept |     0.23163 |      1370.3 |   0.0041074 |    0.009529 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       720.53 |
|      |         |        |             |             |             |             |              | KernelScale:         1.1039 |
|  119 |       6 | Accept |    0.027183 |      58.796 |   0.0041074 |   0.0097206 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      223 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1544 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            25 |
|  120 |       6 | Accept |    0.027091 |      62.912 |   0.0041074 |   0.0086543 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      238 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1499 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            42 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  121 |       6 | Accept |     0.59166 |      3676.1 |   0.0041074 |   0.0086543 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       17.982 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0043756 |
|  122 |       6 | Accept |    0.027783 |      56.988 |   0.0041074 |   0.0095236 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      225 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1551 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            38 |
|  123 |       6 | Accept |     0.22896 |      1222.6 |   0.0041074 |   0.0095236 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       30.726 |
|      |         |        |             |             |             |             |              | KernelScale:         1.2194 |
|  124 |       6 | Accept |    0.028706 |      53.614 |   0.0041074 |   0.0094105 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      213 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1571 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            64 |
|  125 |       6 | Accept |    0.026906 |      68.419 |   0.0041074 |   0.0096214 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      256 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1548 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            72 |
|  126 |       6 | Accept |    0.040705 |      51.812 |   0.0041074 |   0.0096155 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      206 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2028 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|  127 |       6 | Accept |     0.10901 |      491.59 |   0.0041074 |   0.0096155 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       317.07 |
|      |         |        |             |             |             |             |              | KernelScale:          3.345 |
|  128 |       6 | Accept |    0.038813 |      50.737 |   0.0041074 |   0.0094473 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      215 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1857 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            77 |
|  129 |       6 | Accept |     0.04269 |      56.006 |   0.0041074 |     0.01155 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      250 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2192 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            17 |
|  130 |       6 | Best   |   0.0040151 |      144.99 |   0.0040151 |   0.0076249 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      286 |
|      |         |        |             |             |             |             |              | MinLeafSize:            133 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            91 |
|  131 |       6 | Accept |    0.039505 |      54.552 |   0.0040151 |   0.0093087 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      234 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2016 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            15 |
|  132 |       6 | Accept |    0.039921 |      49.255 |   0.0040151 |   0.0077926 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      215 |
|      |         |        |             |             |             |             |              | MinLeafSize:           1997 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            77 |
|  133 |       6 | Accept |    0.048182 |      48.846 |   0.0040151 |   0.0086785 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      213 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2243 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            13 |
|  134 |       6 | Accept |    0.041859 |      66.081 |   0.0040151 |   0.0079912 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      263 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2099 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            32 |
|  135 |       6 | Accept |    0.046105 |      68.865 |   0.0040151 |   0.0078968 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      287 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2342 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|  136 |       6 | Accept |   0.0042459 |      150.03 |   0.0040151 |    0.008766 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      297 |
|      |         |        |             |             |             |             |              | MinLeafSize:            163 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            92 |
|  137 |       6 | Accept |    0.046289 |      62.375 |   0.0040151 |    0.012639 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      273 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2260 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            67 |
|  138 |       6 | Accept |    0.044028 |      53.269 |   0.0040151 |   0.0092674 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      224 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2190 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            12 |
|  139 |       6 | Accept |     0.04892 |      45.442 |   0.0040151 |    0.006892 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      207 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2354 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            17 |
|  140 |       6 | Accept |     0.11515 |      99.696 |   0.0040151 |   0.0093722 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      281 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2297 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            30 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  141 |       6 | Accept |     0.10845 |       91.18 |   0.0040151 |   0.0065827 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      254 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2275 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            37 |
|  142 |       6 | Accept |     0.74165 |      34.944 |   0.0040151 |   0.0072537 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      253 |
|      |         |        |             |             |             |             |              | MinLeafSize:           8804 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            11 |
|  143 |       6 | Best   |   0.0038767 |      158.75 |   0.0038767 |   0.0057394 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      294 |
|      |         |        |             |             |             |             |              | MinLeafSize:            106 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            94 |
|  144 |       6 | Accept |     0.04592 |      64.846 |   0.0038767 |   0.0062301 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      290 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2326 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            34 |
|  145 |       6 | Accept |    0.047074 |      55.822 |   0.0038767 |   0.0062084 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2345 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            60 |
|  146 |       6 | Accept |     0.04832 |      50.283 |   0.0038767 |   0.0092604 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      227 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2350 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            19 |
|  147 |       6 | Accept |    0.016107 |      26.377 |   0.0038767 |   0.0092604 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       94.982 |
|      |         |        |             |             |             |             |              | KernelScale:         222.61 |
|  148 |       6 | Accept |    0.050166 |      53.779 |   0.0038767 |   0.0068092 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      233 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2407 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            20 |
|  149 |       6 | Accept |    0.058196 |      46.596 |   0.0038767 |   0.0063746 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      210 |
|      |         |        |             |             |             |             |              | MinLeafSize:           2469 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            17 |
|  150 |       6 | Accept |    0.067519 |      48.158 |   0.0038767 |   0.0065889 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      233 |
|      |         |        |             |             |             |             |              | MinLeafSize:           3054 |
|      |         |        |             |             |             |             |              | MaxNumSplits:            68 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 150 reached.
Total function evaluations: 150
Total elapsed time: 5515.7636 seconds.
Total objective function evaluation time: 27568.0193

Best observed feasible point is an ensemble model with:
	Method:          AdaBoostM2
	NumLearningCycles:      294
	MinLeafSize:            106
	MaxNumSplits:            94

Observed objective function value = 0.0038767
Estimated objective function value = 0.006912
Function evaluation time = 158.7495

Best estimated feasible point (according to models) is an ensemble model with:
	Method:          AdaBoostM2
	NumLearningCycles:      210
	MinLeafSize:            129
	MaxNumSplits:           100

Estimated objective function value = 0.0065889
Estimated function evaluation time = 129.4444

fitcauto によって返される最終的なモデルは、最適な推定実行可能点に相当します。モデルを返す前に、関数は学習データ全体 (XTrainYTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

検定セットのパフォーマンスの評価

検定データセットに対する最終モデルのパフォーマンスを評価します。

testAccuracy = 1 - loss(Mdl,XTest,YTest)
testAccuracy = 0.9963

最終モデルは、99% を超える観測値を正しく分類しています。

fitcauto を使用し、table で指定した予測子データと応答データに基づいて、最適化されたハイパーパラメーターをもつ分類モデルを自動的に選択します。データを fitcauto に渡す前に特徴選択を実行して、重要でない予測子をデータセットから削除します。

データの読み込みと分割

標本ファイル CreditRating_Historical.dat を table に読み取ります。予測子データは、法人顧客リストの財務比率と業種の情報で構成されます。応答変数は、格付機関が割り当てた格付けから構成されます。データセットの最初の数行をプレビューします。

creditrating = readtable('CreditRating_Historical.dat');
head(creditrating)
ans=8×8 table
     ID      WC_TA     RE_TA     EBIT_TA    MVE_BVTD    S_TA     Industry    Rating 
    _____    ______    ______    _______    ________    _____    ________    _______

    62394     0.013     0.104     0.036      0.447      0.142        3       {'BB' }
    48608     0.232     0.335     0.062      1.969      0.281        8       {'A'  }
    42444     0.311     0.367     0.074      1.935      0.366        1       {'A'  }
    48631     0.194     0.263     0.062      1.017      0.228        4       {'BBB'}
    43768     0.121     0.413     0.057      3.647      0.466       12       {'AAA'}
    39255    -0.117    -0.799      0.01      0.179      0.082        4       {'CCC'}
    62236     0.087     0.158     0.049      0.816      0.324        2       {'BBB'}
    39354     0.005     0.181     0.034      2.597      0.388        7       {'AA' }

変数 ID の各値は一意の顧客 ID であるため (つまり、length(unique(creditrating.ID))creditrating に含まれる観測値の数に等しい)、変数 ID は予測子としては適切ではありません。変数 ID を table から削除し、変数 Industrycategorical 変数に変換します。

creditrating = removevars(creditrating,'ID');
creditrating.Industry = categorical(creditrating.Industry);

データを学習セットと検定セットに分割します。モデル選択とハイパーパラメーター調整のプロセスに観測値の約 85% を使用し、fitcauto によって返された、新しいデータに対する最終モデルのパフォーマンスのテストに観測値の 15% を使用します。cvpartition を使用してデータを分割します。

rng('default') % For reproducibility of the partition
c = cvpartition(creditrating.Rating,'Holdout',0.15);
trainingIndices = training(c); % Indices for the training set
testIndices = test(c); % Indices for the test set
creditTrain = creditrating(trainingIndices,:);
creditTest = creditrating(testIndices,:);

特徴選択の実行

学習データを fitcauto に渡す前に、関数 fscchi2 を使用して重要な予測子を見つけます。関数 bar を使用して、予測子スコアを可視化します。Inf となるスコアがあっても、barInf 値を破棄するため、最初に有限のスコアをプロットしてから、Inf スコアを有限値として別の色でプロットします。

[idx,scores] = fscchi2(creditTrain,'Rating');
bar(scores(idx)) % Represents finite scores
hold on
veryImportant = isinf(scores);
finiteMax = max(scores(~veryImportant));
bar(finiteMax*veryImportant(idx)) % Represents Inf scores
hold off
xticklabels(strrep(creditTrain.Properties.VariableNames(idx),'_','\_'))
xtickangle(45)
legend({'Finite Scores','Inf Scores'})

予測子 Industry のスコアは低く、0.05 より大きい p 値に相当します。これは、Industry が重要な特徴ではない可能性があることを示しています。学習データセットと検定データセットから、特徴量 Industry を削除します。

creditTrain = removevars(creditTrain,'Industry');
creditTest = removevars(creditTest,'Industry');

fitcauto の実行

線形分類モデルまたはカーネル分類モデルの場合、fitcauto は table をサポートしません。このようなモデル (学習器) のタイプを含めるには、学習データを fitcauto に渡す前に予測子データを行列形式に変換します。検定データも変換します。他の予測子はすべて数値であるため、この変換は実行可能です。

predictorTrain = removevars(creditTrain,'Rating');
XTrain = table2array(predictorTrain);
YTrain = creditTrain.Rating;

predictorTest = removevars(creditTest,'Rating');
XTest = table2array(predictorTest);
YTest = creditTest.Rating;

学習データを fitcauto に渡します。この関数は、ベイズ最適化を使用してモデルとそのハイパーパラメーター値を選択し、パフォーマンスが最大となることが期待される学習済みモデル Mdl を返します。使用可能なすべての学習器のタイプを試すよう指定し、最適化を並列実行するよう指定します (Parallel Computing Toolbox™ が必要)。ベイズ最適化の詳細が格納された 2 番目の出力 Results を返します。

このプロセスにいくらか時間がかかることを見込んでください。

options = struct('UseParallel',true);
[Mdl,Results] = fitcauto(XTrain,YTrain, ...
    'Learners','all','HyperparameterOptimizationOptions',options);
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|    1 |       6 | Best   |     0.42716 |      2.8649 |     0.42716 |     0.42716 |        discr | Delta:           0.00046441 |
|      |         |        |             |             |             |             |              | Gamma:               0.2485 |
|    2 |       4 | Accept |     0.74185 |      5.0967 |     0.24948 |     0.42911 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.48455 |
|      |         |        |             |             |             |             |              | KernelScale:         354.44 |
|    3 |       4 | Best   |     0.24948 |      4.9586 |     0.24948 |     0.42911 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:          6.3551e-08 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|    4 |       4 | Accept |     0.29794 |       3.246 |     0.24948 |     0.42911 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       12 |
|      |         |        |             |             |             |             |              | LearnRate:         0.063776 |
|      |         |        |             |             |             |             |              | MinLeafSize:            277 |
|    5 |       3 | Best   |     0.24708 |       9.215 |     0.24708 |     0.36903 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         7.8433 |
|      |         |        |             |             |             |             |              | Lambda:          1.4468e-06 |
|    6 |       3 | Accept |     0.25067 |     0.65429 |     0.24708 |     0.36903 |          knn | NumNeighbors:           105 |
|      |         |        |             |             |             |             |              | Distance:         minkowski |
|    7 |       6 | Accept |     0.52917 |      2.9984 |     0.24708 |     0.63551 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.002417 |
|      |         |        |             |             |             |             |              | KernelScale:          356.9 |
|    8 |       3 | Accept |     0.55818 |     0.61959 |     0.24708 |     0.58763 |        discr | Delta:              0.98612 |
|      |         |        |             |             |             |             |              | Gamma:              0.86519 |
|    9 |       3 | Accept |      0.3781 |      1.7268 |     0.24708 |     0.58763 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:          1.0412e-06 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|   10 |       3 | Accept |     0.43225 |     0.73455 |     0.24708 |     0.58763 |        discr | Delta:           0.00013711 |
|      |         |        |             |             |             |             |              | Gamma:              0.60585 |
|   11 |       3 | Accept |     0.47712 |      4.1471 |     0.24708 |     0.58763 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       2.7347 |
|      |         |        |             |             |             |             |              | KernelScale:         24.465 |
|   12 |       6 | Accept |     0.25695 |      2.4614 |     0.24708 |     0.58763 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:             0.057566 |
|   13 |       3 | Accept |     0.26383 |     0.54745 |     0.24379 |     0.58763 |         tree | MinLeafSize:             30 |
|   14 |       3 | Accept |     0.42327 |     0.84715 |     0.24379 |     0.58763 |          knn | NumNeighbors:            56 |
|      |         |        |             |             |             |             |              | Distance:            cosine |
|   15 |       3 | Best   |     0.24379 |      2.0052 |     0.24379 |     0.58763 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:          5.9172e-05 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   16 |       3 | Accept |     0.82112 |      5.0159 |     0.24379 |     0.58763 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:      0.0043375 |
|      |         |        |             |             |             |             |              | Lambda:           0.0023789 |
|   17 |       6 | Accept |     0.45169 |      1.0941 |     0.24379 |     0.32154 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:           0.0028505 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   18 |       3 | Accept |     0.53365 |      2.9722 |     0.24379 |     0.31096 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0022255 |
|      |         |        |             |             |             |             |              | KernelScale:         206.47 |
|   19 |       3 | Accept |     0.74185 |     0.69997 |     0.24379 |     0.31096 |        discr | Delta:               788.29 |
|      |         |        |             |             |             |             |              | Gamma:             0.096315 |
|   20 |       3 | Accept |     0.39186 |      3.7201 |     0.24379 |     0.31096 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         22.787 |
|      |         |        |             |             |             |             |              | Lambda:          4.7789e-05 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   21 |       3 | Accept |     0.24439 |      1.7527 |     0.24379 |     0.31096 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:          1.9056e-08 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   22 |       6 | Accept |      0.4834 |     0.42353 |     0.24379 |     0.31096 |          knn | NumNeighbors:            72 |
|      |         |        |             |             |             |             |              | Distance:       correlation |
|   23 |       3 | Accept |     0.74185 |     0.12006 |     0.24379 |     0.31096 |         tree | MinLeafSize:           1558 |
|   24 |       3 | Accept |     0.27042 |     0.67315 |     0.24379 |     0.31096 |         tree | MinLeafSize:             76 |
|   25 |       3 | Accept |     0.45887 |      4.6976 |     0.24379 |     0.31096 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       7.1247 |
|      |         |        |             |             |             |             |              | KernelScale:         0.9781 |
|   26 |       3 | Accept |     0.28208 |     0.88675 |     0.24379 |     0.31096 |          knn | NumNeighbors:           291 |
|      |         |        |             |             |             |             |              | Distance:         minkowski |
|   27 |       6 | Accept |     0.43255 |     0.13008 |     0.24379 |     0.31096 |        discr | Delta:             0.016844 |
|      |         |        |             |             |             |             |              | Gamma:              0.64466 |
|   28 |       4 | Accept |     0.66796 |     0.25188 |     0.24379 |     0.31096 |          knn | NumNeighbors:            77 |
|      |         |        |             |             |             |             |              | Distance:           jaccard |
|   29 |       4 | Accept |     0.28059 |     0.44707 |     0.24379 |     0.31096 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   30 |       4 | Accept |     0.65869 |     0.38657 |     0.24379 |     0.31096 |          knn | NumNeighbors:            61 |
|      |         |        |             |             |             |             |              | Distance:           jaccard |
|   31 |       3 | Accept |     0.74185 |      6.6038 |     0.24379 |     0.31096 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:      0.0010962 |
|      |         |        |             |             |             |             |              | Lambda:            0.035691 |
|   32 |       3 | Accept |     0.27789 |     0.11562 |     0.24379 |     0.31096 |         tree | MinLeafSize:             94 |
|   33 |       6 | Accept |     0.74185 |    0.096361 |     0.24379 |     0.31096 |        discr | Delta:               244.12 |
|      |         |        |             |             |             |             |              | Gamma:              0.23748 |
|   34 |       3 | Accept |     0.32456 |     0.18499 |     0.24349 |     0.31096 |         tree | MinLeafSize:              3 |
|   35 |       3 | Accept |     0.63506 |      2.4392 |     0.24349 |     0.31096 |          knn | NumNeighbors:          1563 |
|      |         |        |             |             |             |             |              | Distance:       mahalanobis |
|   36 |       3 | Best   |     0.24349 |      2.1919 |     0.24349 |     0.31096 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.044076 |
|      |         |        |             |             |             |             |              | KernelScale:       0.035497 |
|   37 |       3 | Accept |      0.6216 |      2.1779 |     0.24349 |     0.31096 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.055096 |
|      |         |        |             |             |             |             |              | KernelScale:         6.2342 |
|   38 |       6 | Accept |     0.42208 |      0.1616 |     0.24349 |     0.31096 |        discr | Delta:            0.0090118 |
|      |         |        |             |             |             |             |              | Gamma:             0.062207 |
|   39 |       4 | Accept |     0.47173 |      3.2018 |     0.24349 |     0.31096 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:       3.7197 |
|      |         |        |             |             |             |             |              | KernelScale:         2.9509 |
|   40 |       4 | Accept |     0.74185 |      2.4165 |     0.24349 |     0.31096 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.019393 |
|      |         |        |             |             |             |             |              | KernelScale:         332.27 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   41 |       4 | Accept |     0.53126 |      2.5238 |     0.24349 |     0.31096 |          knn | NumNeighbors:           372 |
|      |         |        |             |             |             |             |              | Distance:       mahalanobis |
|   42 |       4 | Accept |     0.25965 |      15.125 |     0.24349 |     0.27803 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      150 |
|      |         |        |             |             |             |             |              | LearnRate:         0.014842 |
|      |         |        |             |             |             |             |              | MinLeafSize:             21 |
|   43 |       6 | Accept |     0.74185 |      4.4109 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         24.681 |
|      |         |        |             |             |             |             |              | Lambda:            0.092669 |
|   44 |       3 | Accept |     0.26413 |      22.354 |     0.24349 |     0.27803 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      304 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:            100 |
|   45 |       3 | Accept |     0.24499 |      14.917 |     0.24349 |     0.27803 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.019387 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0047515 |
|   46 |       3 | Accept |     0.74185 |      4.3649 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         24.681 |
|      |         |        |             |             |             |             |              | Lambda:            0.092669 |
|   47 |       3 | Accept |     0.74185 |      7.1585 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         24.681 |
|      |         |        |             |             |             |             |              | Lambda:            0.092669 |
|   48 |       6 | Accept |     0.28059 |     0.18491 |     0.24349 |     0.27255 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   49 |       3 | Accept |     0.60754 |      3.9106 |     0.24349 |     0.27255 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:          176.2 |
|      |         |        |             |             |             |             |              | Lambda:          2.3903e-06 |
|   50 |       3 | Accept |     0.42507 |     0.11067 |     0.24349 |     0.27255 |        discr | Delta:              0.25925 |
|      |         |        |             |             |             |             |              | Gamma:              0.82918 |
|   51 |       3 | Accept |     0.28806 |      4.3596 |     0.24349 |     0.27255 |     ensemble | Method:            RUSBoost |
|      |         |        |             |             |             |             |              | NumLearningCycles:       42 |
|      |         |        |             |             |             |             |              | LearnRate:        0.0031729 |
|      |         |        |             |             |             |             |              | MinLeafSize:             33 |
|   52 |       3 | Accept |     0.47024 |      3.0918 |     0.24349 |     0.27255 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0028932 |
|      |         |        |             |             |             |             |              | KernelScale:        0.47789 |
|   53 |       6 | Accept |     0.49477 |      3.6628 |     0.24349 |     0.27255 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:       0.093586 |
|      |         |        |             |             |             |             |              | Lambda:           0.0050756 |
|   54 |       4 | Accept |     0.27131 |     0.15291 |     0.24349 |     0.27548 |         tree | MinLeafSize:             20 |
|   55 |       4 | Accept |     0.28059 |     0.46186 |     0.24349 |     0.27548 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   56 |       4 | Accept |     0.28059 |     0.45079 |     0.24349 |     0.27548 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   57 |       4 | Accept |     0.32456 |     0.17695 |     0.24349 |     0.27548 |         tree | MinLeafSize:              3 |
|   58 |       4 | Accept |     0.33144 |      1.2562 |     0.24349 |      0.2843 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:            0.0020049 |
|   59 |       3 | Accept |     0.43314 |      23.917 |     0.24349 |     0.28235 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      357 |
|      |         |        |             |             |             |             |              | LearnRate:         0.035928 |
|      |         |        |             |             |             |             |              | MinLeafSize:            799 |
|   60 |       3 | Accept |     0.28059 |     0.13198 |     0.24349 |     0.28235 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   61 |       6 | Accept |     0.26234 |     0.55057 |     0.24349 |     0.28235 |          knn | NumNeighbors:           157 |
|      |         |        |             |             |             |             |              | Distance:         euclidean |
|   62 |       4 | Accept |     0.31917 |      10.817 |     0.24349 |     0.28235 |     ensemble | Method:            RUSBoost |
|      |         |        |             |             |             |             |              | NumLearningCycles:      132 |
|      |         |        |             |             |             |             |              | LearnRate:        0.0014516 |
|      |         |        |             |             |             |             |              | MinLeafSize:            104 |
|   63 |       4 | Accept |     0.24529 |       5.709 |     0.24349 |     0.28235 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         4.6933 |
|      |         |        |             |             |             |             |              | Lambda:          9.8945e-07 |
|   64 |       4 | Accept |     0.43255 |     0.74626 |     0.24349 |     0.28235 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:          2.7304e-07 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   65 |       4 | Accept |     0.57972 |      2.8035 |     0.24349 |     0.28235 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.12255 |
|      |         |        |             |             |             |             |              | KernelScale:         81.172 |
|   66 |       4 | Accept |     0.26383 |     0.13419 |     0.24349 |     0.28235 |          knn | NumNeighbors:            13 |
|      |         |        |             |             |             |             |              | Distance:         chebychev |
|   67 |       3 | Accept |     0.24469 |      17.277 |     0.24349 |     0.28235 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.062223 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0077043 |
|   68 |       3 | Accept |     0.42596 |    0.095102 |     0.24349 |     0.28235 |        discr | Delta:           9.4222e-06 |
|      |         |        |             |             |             |             |              | Gamma:              0.15603 |
|   69 |       6 | Accept |     0.67783 |     0.67221 |     0.24349 |     0.28235 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:              2.4732 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|   70 |       5 | Accept |     0.25695 |     0.16748 |     0.24349 |     0.28235 |          knn | NumNeighbors:            14 |
|      |         |        |             |             |             |             |              | Distance:         cityblock |
|   71 |       5 | Accept |     0.46276 |      0.7837 |     0.24349 |     0.28235 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:           0.0033674 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   72 |       4 | Accept |     0.28448 |      6.0063 |     0.24349 |     0.27803 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:       78 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:            168 |
|   73 |       4 | Accept |      0.6548 |      2.4452 |     0.24349 |     0.27803 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:               2.6013 |
|   74 |       4 | Accept |     0.42926 |      0.1085 |     0.24349 |     0.27803 |        discr | Delta:             0.041145 |
|      |         |        |             |             |             |             |              | Gamma:              0.34864 |
|   75 |       2 | Accept |     0.24529 |      222.53 |     0.24349 |     0.27803 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.25488 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0037823 |
|   76 |       2 | Accept |     0.25217 |      21.217 |     0.24349 |     0.27803 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      257 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:             19 |
|   77 |       2 | Accept |     0.32516 |     0.19708 |     0.24349 |     0.27803 |         tree | MinLeafSize:              5 |
|   78 |       6 | Accept |     0.43703 |     0.87585 |     0.24349 |     0.27803 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:            0.013265 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|   79 |       3 | Accept |     0.25695 |      2.1197 |     0.24349 |     0.27803 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       712.17 |
|      |         |        |             |             |             |             |              | KernelScale:         79.244 |
|   80 |       3 | Accept |     0.25456 |       2.276 |     0.24349 |     0.27803 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       22 |
|      |         |        |             |             |             |             |              | LearnRate:          0.28501 |
|      |         |        |             |             |             |             |              | MinLeafSize:            104 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|   81 |       3 | Accept |     0.31529 |       3.001 |     0.24349 |     0.27803 |     ensemble | Method:            RUSBoost |
|      |         |        |             |             |             |             |              | NumLearningCycles:       22 |
|      |         |        |             |             |             |             |              | LearnRate:          0.10996 |
|      |         |        |             |             |             |             |              | MinLeafSize:            104 |
|   82 |       3 | Accept |     0.42596 |     0.19157 |     0.24349 |     0.27803 |        discr | Delta:           0.00034456 |
|      |         |        |             |             |             |             |              | Gamma:              0.08223 |
|   83 |       5 | Accept |     0.25456 |      7.1816 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.78697 |
|      |         |        |             |             |             |             |              | Lambda:          4.1197e-06 |
|   84 |       5 | Accept |     0.43015 |    0.092979 |     0.24349 |     0.27803 |        discr | Delta:            0.0069822 |
|      |         |        |             |             |             |             |              | Gamma:              0.49526 |
|   85 |       3 | Accept |     0.32905 |      0.3807 |     0.24349 |     0.27803 |          knn | NumNeighbors:            65 |
|      |         |        |             |             |             |             |              | Distance:        seuclidean |
|   86 |       3 | Accept |     0.50194 |     0.58497 |     0.24349 |     0.27803 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:               22.21 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|   87 |       3 | Accept |     0.30242 |      0.2907 |     0.24349 |     0.27803 |         tree | MinLeafSize:            219 |
|   88 |       5 | Accept |     0.28328 |      11.457 |     0.24349 |     0.27803 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:        0.24613 |
|      |         |        |             |             |             |             |              | Lambda:          6.5582e-06 |
|   89 |       5 | Accept |     0.67903 |      3.2891 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         66.432 |
|      |         |        |             |             |             |             |              | Lambda:          0.00097982 |
|   90 |       3 | Accept |     0.28059 |     0.15967 |     0.24349 |     0.27803 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|   91 |       3 | Accept |     0.74185 |      0.1332 |     0.24349 |     0.27803 |        discr | Delta:               89.479 |
|      |         |        |             |             |             |             |              | Gamma:              0.11568 |
|   92 |       3 | Accept |     0.29704 |      1.6362 |     0.24349 |     0.27803 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.90434 |
|      |         |        |             |             |             |             |              | KernelScale:         5.1972 |
|   93 |       4 | Accept |     0.75232 |      6.2607 |     0.24349 |     0.27803 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:      0.0025204 |
|      |         |        |             |             |             |             |              | Lambda:           0.0017056 |
|   94 |       4 | Accept |     0.61203 |      2.7767 |     0.24349 |     0.27803 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:       53 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:            926 |
|   95 |       4 | Accept |     0.42926 |      0.1032 |     0.24349 |     0.27803 |        discr | Delta:           0.00083172 |
|      |         |        |             |             |             |             |              | Gamma:              0.41309 |
|   96 |       2 | Accept |     0.24619 |      3.3793 |     0.24349 |      0.2819 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       305.08 |
|      |         |        |             |             |             |             |              | KernelScale:         1.4567 |
|   97 |       2 | Accept |     0.71911 |     0.67791 |     0.24349 |      0.2819 |          knn | NumNeighbors:           659 |
|      |         |        |             |             |             |             |              | Distance:           jaccard |
|   98 |       2 | Accept |     0.37212 |      1.5638 |     0.24349 |      0.2819 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       15 |
|      |         |        |             |             |             |             |              | LearnRate:         0.010706 |
|      |         |        |             |             |             |             |              | MinLeafSize:            366 |
|   99 |       5 | Accept |     0.28059 |      0.1674 |     0.24349 |      0.2819 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|  100 |       5 | Accept |     0.30093 |     0.10739 |     0.24349 |      0.2819 |         tree | MinLeafSize:            135 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  101 |       3 | Accept |      0.2767 |      5.3033 |     0.24349 |      0.2819 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       53 |
|      |         |        |             |             |             |             |              | LearnRate:         0.012335 |
|      |         |        |             |             |             |             |              | MinLeafSize:              5 |
|  102 |       3 | Accept |     0.28597 |       2.062 |     0.24349 |      0.2819 |     ensemble | Method:            RUSBoost |
|      |         |        |             |             |             |             |              | NumLearningCycles:       23 |
|      |         |        |             |             |             |             |              | LearnRate:         0.018926 |
|      |         |        |             |             |             |             |              | MinLeafSize:              1 |
|  103 |       3 | Accept |     0.61771 |     0.24182 |     0.24349 |      0.2819 |         tree | MinLeafSize:           1200 |
|  104 |       6 | Accept |     0.25576 |      3.0306 |     0.24349 |     0.27907 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:       38 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:             28 |
|  105 |       3 | Accept |     0.31977 |      1.4678 |     0.24349 |     0.27907 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:            0.040102 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|  106 |       3 | Accept |     0.28059 |     0.15767 |     0.24349 |     0.27907 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|  107 |       3 | Accept |     0.52976 |      3.7522 |     0.24349 |     0.27907 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       52 |
|      |         |        |             |             |             |             |              | LearnRate:        0.0051271 |
|      |         |        |             |             |             |             |              | MinLeafSize:            854 |
|  108 |       3 | Accept |      0.3781 |       1.876 |     0.24349 |     0.27907 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:          9.0139e-07 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|  109 |       6 | Best   |      0.2429 |      2.1357 |      0.2429 |     0.27907 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.10541 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061524 |
|  110 |       3 | Accept |     0.30212 |      15.324 |      0.2429 |     0.27907 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      249 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:            292 |
|  111 |       3 | Accept |     0.25905 |      6.4685 |      0.2429 |     0.27907 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:       61 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:              3 |
|  112 |       3 | Accept |      0.4819 |      3.2352 |      0.2429 |     0.27907 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:        239.8 |
|      |         |        |             |             |             |             |              | KernelScale:         51.105 |
|  113 |       3 | Accept |     0.72241 |      3.0692 |      0.2429 |     0.27907 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:               7.4433 |
|  114 |       6 | Accept |     0.45947 |     0.55863 |      0.2429 |     0.27907 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:            0.028513 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|  115 |       3 | Accept |     0.74185 |      2.3519 |      0.2429 |     0.27907 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:               74.975 |
|  116 |       3 | Accept |     0.29794 |      1.7602 |      0.2429 |     0.27907 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:       14 |
|      |         |        |             |             |             |             |              | LearnRate:        0.0011077 |
|      |         |        |             |             |             |             |              | MinLeafSize:              2 |
|  117 |       3 | Accept |     0.48549 |      14.081 |      0.2429 |     0.27907 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.36208 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061675 |
|  118 |       3 | Accept |     0.38169 |      3.4566 |      0.2429 |     0.27907 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         6.0043 |
|      |         |        |             |             |             |             |              | Lambda:           0.0033315 |
|  119 |       6 | Accept |     0.24559 |      5.4474 |      0.2429 |     0.27907 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0059499 |
|      |         |        |             |             |             |             |              | KernelScale:      0.0045622 |
|  120 |       4 | Best   |      0.2408 |      1.6297 |      0.2408 |     0.27907 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.011671 |
|      |         |        |             |             |             |             |              | KernelScale:       0.050076 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  121 |       4 | Accept |     0.25725 |      15.492 |      0.2408 |     0.27907 |     ensemble | Method:          AdaBoostM2 |
|      |         |        |             |             |             |             |              | NumLearningCycles:      149 |
|      |         |        |             |             |             |             |              | LearnRate:          0.10812 |
|      |         |        |             |             |             |             |              | MinLeafSize:              1 |
|  122 |       4 | Accept |     0.47831 |    0.088834 |      0.2408 |     0.27907 |         tree | MinLeafSize:            833 |
|  123 |       4 | Best   |      0.2405 |      1.4439 |      0.2405 |     0.24636 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.015035 |
|      |         |        |             |             |             |             |              | KernelScale:       0.057715 |
|  124 |       4 | Accept |      0.2417 |      1.5135 |      0.2405 |     0.24498 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0095934 |
|      |         |        |             |             |             |             |              | KernelScale:       0.058685 |
|  125 |       4 | Best   |      0.2399 |      1.4853 |      0.2399 |     0.24443 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.035844 |
|      |         |        |             |             |             |             |              | KernelScale:        0.08166 |
|  126 |       4 | Accept |     0.24529 |      63.489 |      0.2399 |     0.24408 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       405.36 |
|      |         |        |             |             |             |             |              | KernelScale:         0.3059 |
|  127 |       4 | Accept |      0.2417 |      1.4706 |      0.2399 |     0.24465 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.016665 |
|      |         |        |             |             |             |             |              | KernelScale:       0.083583 |
|  128 |       4 | Accept |     0.25546 |      1.4908 |      0.2399 |     0.24411 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.038736 |
|      |         |        |             |             |             |             |              | KernelScale:        0.55267 |
|  129 |       4 | Accept |     0.30841 |       1.885 |      0.2399 |     0.24408 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0015949 |
|      |         |        |             |             |             |             |              | KernelScale:        0.34759 |
|  130 |       4 | Accept |     0.36494 |      1.9172 |      0.2399 |     0.24384 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.017084 |
|      |         |        |             |             |             |             |              | KernelScale:         1.9122 |
|  131 |       4 | Accept |     0.30242 |      1.6419 |      0.2399 |     0.24389 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.033156 |
|      |         |        |             |             |             |             |              | KernelScale:         1.1823 |
|  132 |       5 | Accept |     0.40203 |      1.8764 |      0.2399 |     0.24422 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.022866 |
|      |         |        |             |             |             |             |              | KernelScale:         2.5154 |
|  133 |       5 | Accept |     0.24349 |       2.287 |      0.2399 |     0.24422 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.14375 |
|      |         |        |             |             |             |             |              | KernelScale:       0.063056 |
|  134 |       5 | Accept |      0.2402 |       1.598 |      0.2399 |     0.24365 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.012787 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061711 |
|  135 |       4 | Accept |      0.4843 |      135.72 |      0.2399 |     0.24365 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0016902 |
|      |         |        |             |             |             |             |              | KernelScale:       0.031528 |
|  136 |       4 | Accept |     0.78193 |      10.536 |      0.2399 |     0.24365 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:      0.0024164 |
|      |         |        |             |             |             |             |              | Lambda:          3.0566e-07 |
|  137 |       4 | Accept |      0.4499 |      4.2514 |      0.2399 |     0.24207 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.020039 |
|      |         |        |             |             |             |             |              | KernelScale:        0.05327 |
|  138 |       4 | Accept |     0.79061 |      10.427 |      0.2399 |     0.24207 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:      0.0012217 |
|      |         |        |             |             |             |             |              | Lambda:          1.8732e-06 |
|  139 |       4 | Accept |     0.24379 |      1.5859 |      0.2399 |      0.2419 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0026657 |
|      |         |        |             |             |             |             |              | KernelScale:       0.058261 |
|  140 |       4 | Accept |     0.24379 |      1.7337 |      0.2399 |     0.24721 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.02367 |
|      |         |        |             |             |             |             |              | KernelScale:       0.037805 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  141 |       4 | Accept |     0.74604 |       9.898 |      0.2399 |     0.24721 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.03064 |
|      |         |        |             |             |             |             |              | Lambda:          4.6992e-06 |
|  142 |       4 | Accept |     0.24619 |      4.1003 |      0.2399 |     0.24822 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.40789 |
|      |         |        |             |             |             |             |              | KernelScale:       0.047603 |
|  143 |       4 | Accept |     0.24499 |      9.2411 |      0.2399 |     0.24541 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.80115 |
|      |         |        |             |             |             |             |              | KernelScale:       0.038152 |
|  144 |       4 | Accept |      0.2405 |       1.389 |      0.2399 |     0.24287 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.018782 |
|      |         |        |             |             |             |             |              | KernelScale:        0.06909 |
|  145 |       4 | Accept |     0.26234 |      4.1253 |      0.2399 |     0.24287 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         3.0021 |
|      |         |        |             |             |             |             |              | Lambda:            0.002498 |
|  146 |       4 | Accept |     0.24559 |      1.3591 |      0.2399 |     0.24345 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0015537 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061601 |
|  147 |       4 | Accept |     0.39426 |      2.1758 |      0.2399 |     0.24345 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         2.7611 |
|      |         |        |             |             |             |             |              | Lambda:            0.058785 |
|  148 |       4 | Accept |     0.44032 |      9.2619 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.10145 |
|      |         |        |             |             |             |             |              | Lambda:           1.247e-06 |
|  149 |       4 | Accept |     0.26114 |      5.2181 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         12.896 |
|      |         |        |             |             |             |             |              | Lambda:          5.2477e-07 |
|  150 |       4 | Accept |     0.50374 |      10.004 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:       0.073856 |
|      |         |        |             |             |             |             |              | Lambda:          1.1532e-06 |
|  151 |       4 | Accept |     0.27939 |      5.1821 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         16.882 |
|      |         |        |             |             |             |             |              | Lambda:          3.1205e-07 |
|  152 |       4 | Accept |     0.27819 |      4.5003 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         18.796 |
|      |         |        |             |             |             |             |              | Lambda:          1.2989e-05 |
|  153 |       4 | Accept |     0.27819 |      4.7288 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         20.531 |
|      |         |        |             |             |             |             |              | Lambda:          7.0733e-07 |
|  154 |       4 | Accept |     0.64792 |      3.5128 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         13.339 |
|      |         |        |             |             |             |             |              | Lambda:            0.015595 |
|  155 |       4 | Accept |     0.36135 |      4.5167 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         23.171 |
|      |         |        |             |             |             |             |              | Lambda:          8.9366e-07 |
|  156 |       4 | Accept |     0.31947 |      4.9979 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         23.387 |
|      |         |        |             |             |             |             |              | Lambda:          3.5105e-07 |
|  157 |       4 | Accept |     0.25935 |      4.7775 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         9.5518 |
|      |         |        |             |             |             |             |              | Lambda:          4.9153e-06 |
|  158 |       4 | Accept |     0.30093 |       3.849 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         7.3599 |
|      |         |        |             |             |             |             |              | Lambda:           0.0025979 |
|  159 |       4 | Accept |     0.35028 |      4.1896 |      0.2399 |     0.24345 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         23.149 |
|      |         |        |             |             |             |             |              | Lambda:          8.8313e-06 |
|  160 |       4 | Accept |     0.24559 |      1.3885 |      0.2399 |     0.24519 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0027832 |
|      |         |        |             |             |             |             |              | KernelScale:       0.069321 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  161 |       4 | Accept |     0.26324 |        4.97 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         11.576 |
|      |         |        |             |             |             |             |              | Lambda:          5.1587e-06 |
|  162 |       3 | Accept |     0.24379 |      430.57 |      0.2399 |     0.24519 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       314.58 |
|      |         |        |             |             |             |             |              | KernelScale:       0.055576 |
|  163 |       3 | Accept |     0.26742 |      4.2066 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         9.9599 |
|      |         |        |             |             |             |             |              | Lambda:           0.0002376 |
|  164 |       6 | Accept |     0.25546 |      7.3897 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.66256 |
|      |         |        |             |             |             |             |              | Lambda:          4.9136e-06 |
|  165 |       3 | Accept |     0.29165 |      4.0149 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         8.7912 |
|      |         |        |             |             |             |             |              | Lambda:          0.00065247 |
|  166 |       3 | Accept |     0.28059 |     0.16557 |      0.2399 |     0.24519 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|  167 |       3 | Accept |       0.242 |      1.5393 |      0.2399 |     0.24519 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:           4.114e-07 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|  168 |       3 | Accept |     0.66437 |      1.3826 |      0.2399 |     0.24519 |       linear | Coding:            onevsone |
|      |         |        |             |             |             |             |              | Lambda:              1.5345 |
|      |         |        |             |             |             |             |              | Learner:           logistic |
|  169 |       6 | Accept |     0.30302 |      3.6462 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         10.456 |
|      |         |        |             |             |             |             |              | Lambda:           0.0012729 |
|  170 |       3 | Accept |     0.36584 |      9.8828 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.12329 |
|      |         |        |             |             |             |             |              | Lambda:          5.7761e-06 |
|  171 |       3 | Accept |      0.2767 |      2.2185 |      0.2399 |     0.24519 |           nb | DistributionNames:   kernel |
|      |         |        |             |             |             |             |              | Width:             0.013013 |
|  172 |       3 | Accept |     0.29016 |      10.253 |      0.2399 |     0.24519 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:      161 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:            233 |
|  173 |       3 | Accept |     0.30212 |     0.17493 |      0.2399 |     0.24519 |         tree | MinLeafSize:            125 |
|  174 |       6 | Accept |     0.36853 |      3.9359 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:          14.54 |
|      |         |        |             |             |             |             |              | Lambda:           0.0018156 |
|  175 |       3 | Accept |      0.2399 |      1.5716 |      0.2399 |     0.24519 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.018425 |
|      |         |        |             |             |             |             |              | KernelScale:        0.05816 |
|  176 |       3 | Accept |     0.25426 |      2.1785 |      0.2399 |     0.24519 |     ensemble | Method:                 Bag |
|      |         |        |             |             |             |             |              | NumLearningCycles:       21 |
|      |         |        |             |             |             |             |              | LearnRate:              NaN |
|      |         |        |             |             |             |             |              | MinLeafSize:             10 |
|  177 |       3 | Accept |     0.44421 |     0.69127 |      0.2399 |     0.24519 |       linear | Coding:            onevsall |
|      |         |        |             |             |             |             |              | Lambda:          9.8986e-08 |
|      |         |        |             |             |             |             |              | Learner:                svm |
|  178 |       3 | Accept |     0.24349 |      4.7623 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         7.5839 |
|      |         |        |             |             |             |             |              | Lambda:          6.1706e-06 |
|  179 |       6 | Accept |     0.32546 |      3.8654 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         11.818 |
|      |         |        |             |             |             |             |              | Lambda:           0.0021157 |
|  180 |       3 | Accept |     0.25396 |      4.8254 |      0.2399 |     0.24519 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         3.2686 |
|      |         |        |             |             |             |             |              | Lambda:          1.4612e-06 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  181 |       3 | Accept |     0.51391 |      3.1699 |      0.2399 |     0.24519 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.11591 |
|      |         |        |             |             |             |             |              | KernelScale:         495.17 |
|  182 |       3 | Accept |      0.2417 |      1.6756 |      0.2399 |     0.24519 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:        7.202 |
|      |         |        |             |             |             |             |              | KernelScale:         1.5776 |
|  183 |       3 | Accept |     0.28059 |     0.59112 |      0.2399 |     0.24519 |           nb | DistributionNames:   normal |
|      |         |        |             |             |             |             |              | Width:                  NaN |
|  184 |       6 | Accept |     0.31259 |      3.7378 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         12.684 |
|      |         |        |             |             |             |             |              | Lambda:           0.0015075 |
|  185 |       4 | Accept |     0.25277 |      12.458 |      0.2399 |     0.24519 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:        0.66323 |
|      |         |        |             |             |             |             |              | Lambda:          3.1391e-06 |
|  186 |       4 | Accept |     0.74185 |       4.433 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         513.67 |
|      |         |        |             |             |             |             |              | Lambda:            0.013813 |
|  187 |       4 | Accept |     0.29165 |      9.8216 |      0.2399 |     0.24519 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         0.1806 |
|      |         |        |             |             |             |             |              | Lambda:          5.7403e-05 |
|  188 |       4 | Accept |     0.24589 |      5.2677 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         4.5409 |
|      |         |        |             |             |             |             |              | Lambda:          1.6179e-06 |
|  189 |       4 | Accept |     0.25875 |      4.9459 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         13.189 |
|      |         |        |             |             |             |             |              | Lambda:          1.0438e-06 |
|  190 |       4 | Accept |     0.29794 |      9.4099 |      0.2399 |     0.24519 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.24389 |
|      |         |        |             |             |             |             |              | Lambda:          1.5305e-06 |
|  191 |       4 | Accept |      0.2399 |      1.4613 |      0.2399 |     0.24482 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.017676 |
|      |         |        |             |             |             |             |              | KernelScale:        0.05684 |
|  192 |       4 | Accept |      0.6198 |      2.1987 |      0.2399 |     0.24188 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.037629 |
|      |         |        |             |             |             |             |              | KernelScale:         4.6813 |
|  193 |       4 | Accept |     0.24589 |      3.6814 |      0.2399 |     0.24395 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.48718 |
|      |         |        |             |             |             |             |              | KernelScale:       0.071987 |
|  194 |       4 | Accept |     0.30362 |      1.6935 |      0.2399 |     0.24179 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.036257 |
|      |         |        |             |             |             |             |              | KernelScale:          1.496 |
|  195 |       4 | Accept |     0.24828 |      5.6169 |      0.2399 |     0.24179 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         2.0998 |
|      |         |        |             |             |             |             |              | Lambda:          1.7852e-06 |
|  196 |       4 | Accept |      0.2405 |      1.4008 |      0.2399 |      0.2416 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.025005 |
|      |         |        |             |             |             |             |              | KernelScale:       0.079623 |
|  197 |       4 | Accept |     0.25695 |      10.376 |      0.2399 |      0.2416 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:        0.54744 |
|      |         |        |             |             |             |             |              | Lambda:           2.181e-06 |
|  198 |       4 | Accept |      0.2429 |      1.8889 |      0.2399 |     0.25253 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.090859 |
|      |         |        |             |             |             |             |              | KernelScale:       0.066231 |
|  199 |       4 | Accept |     0.24858 |      4.1934 |      0.2399 |     0.25163 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         2.5004 |
|      |         |        |             |             |             |             |              | Lambda:           0.0016318 |
|  200 |       4 | Accept |      0.2408 |      1.4334 |      0.2399 |     0.24216 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.029253 |
|      |         |        |             |             |             |             |              | KernelScale:       0.063477 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  201 |       4 | Accept |     0.25067 |      1.4766 |      0.2399 |     0.24186 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.01517 |
|      |         |        |             |             |             |             |              | KernelScale:        0.27169 |
|  202 |       4 | Accept |     0.29794 |      1.8479 |      0.2399 |     0.24143 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.20149 |
|      |         |        |             |             |             |             |              | KernelScale:         2.5463 |
|  203 |       4 | Accept |     0.24589 |      6.5027 |      0.2399 |     0.24148 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.30831 |
|      |         |        |             |             |             |             |              | KernelScale:       0.028787 |
|  204 |       4 | Accept |     0.24678 |      4.2346 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.5999 |
|      |         |        |             |             |             |             |              | Lambda:           0.0022599 |
|  205 |       5 | Accept |     0.28148 |       4.267 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         3.1926 |
|      |         |        |             |             |             |             |              | Lambda:           0.0039213 |
|  206 |       5 | Accept |     0.25366 |      4.6995 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         2.2861 |
|      |         |        |             |             |             |             |              | Lambda:           0.0023336 |
|  207 |       6 | Accept |     0.28986 |      4.6245 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         2.8603 |
|      |         |        |             |             |             |             |              | Lambda:           0.0072539 |
|  208 |       6 | Accept |     0.25067 |      4.9866 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.0901 |
|      |         |        |             |             |             |             |              | Lambda:           0.0099896 |
|  209 |       6 | Accept |     0.26802 |       4.837 |      0.2399 |     0.24148 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.6265 |
|      |         |        |             |             |             |             |              | Lambda:             0.01081 |
|  210 |       6 | Accept |     0.24499 |      56.624 |      0.2399 |     0.24154 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       8.7909 |
|      |         |        |             |             |             |             |              | KernelScale:        0.05728 |
|  211 |       6 | Accept |     0.25097 |      5.1646 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.94502 |
|      |         |        |             |             |             |             |              | Lambda:            0.012321 |
|  212 |       6 | Accept |     0.27879 |       4.737 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.5962 |
|      |         |        |             |             |             |             |              | Lambda:            0.014927 |
|  213 |       6 | Accept |     0.28537 |      4.6966 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:          1.858 |
|      |         |        |             |             |             |             |              | Lambda:            0.012473 |
|  214 |       5 | Accept |     0.24529 |      172.16 |      0.2399 |     0.24154 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       32.749 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061248 |
|  215 |       5 | Accept |     0.25127 |      4.7942 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.91593 |
|      |         |        |             |             |             |             |              | Lambda:            0.013134 |
|  216 |       5 | Accept |       0.277 |      4.1458 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.4949 |
|      |         |        |             |             |             |             |              | Lambda:            0.015008 |
|  217 |       5 | Accept |     0.30123 |      3.9237 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.2069 |
|      |         |        |             |             |             |             |              | Lambda:            0.071401 |
|  218 |       5 | Accept |     0.30691 |       2.555 |      0.2399 |     0.24154 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         1.0328 |
|      |         |        |             |             |             |             |              | Lambda:            0.013653 |
|  219 |       5 | Accept |     0.29106 |      4.1175 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.9718 |
|      |         |        |             |             |             |             |              | Lambda:            0.014791 |
|  220 |       5 | Accept |     0.27341 |       4.054 |      0.2399 |     0.24154 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.0948 |
|      |         |        |             |             |             |             |              | Lambda:            0.029433 |
|==============================================================================================================================|
| Iter | Active  | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |      Learner | Hyperparameter:       Value |
|      | workers | result |             | runtime     | (observed)  | (estim.)    |              |                             |
|==============================================================================================================================|
|  221 |       5 | Accept |     0.24499 |      1.7385 |      0.2399 |     0.24325 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.019711 |
|      |         |        |             |             |             |             |              | KernelScale:        0.20418 |
|  222 |       5 | Accept |     0.32576 |      3.5611 |      0.2399 |     0.24325 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.96406 |
|      |         |        |             |             |             |             |              | Lambda:             0.19447 |
|  223 |       5 | Accept |     0.33084 |      4.3505 |      0.2399 |     0.24325 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         23.853 |
|      |         |        |             |             |             |             |              | Lambda:          4.1268e-07 |
|  224 |       5 | Accept |     0.25187 |      1.6516 |      0.2399 |     0.24139 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0019286 |
|      |         |        |             |             |             |             |              | KernelScale:        0.10433 |
|  225 |       5 | Accept |     0.25037 |       4.822 |      0.2399 |     0.24139 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.71239 |
|      |         |        |             |             |             |             |              | Lambda:            0.015711 |
|  226 |       5 | Accept |      0.3452 |      10.241 |      0.2399 |     0.24139 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.14973 |
|      |         |        |             |             |             |             |              | Lambda:          1.4037e-06 |
|  227 |       5 | Accept |     0.26204 |      9.4337 |      0.2399 |     0.24139 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.41479 |
|      |         |        |             |             |             |             |              | Lambda:          3.5263e-06 |
|  228 |       5 | Accept |     0.25097 |       1.604 |      0.2399 |     0.24158 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.018254 |
|      |         |        |             |             |             |             |              | KernelScale:         0.2875 |
|  229 |       5 | Accept |     0.36075 |      4.6692 |      0.2399 |     0.24158 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         24.105 |
|      |         |        |             |             |             |             |              | Lambda:           3.803e-07 |
|  230 |       4 | Accept |     0.24559 |      465.69 |      0.2399 |     0.24158 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:       318.11 |
|      |         |        |             |             |             |             |              | KernelScale:       0.061933 |
|  231 |       4 | Accept |     0.29016 |      4.7925 |      0.2399 |     0.24158 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         1.3656 |
|      |         |        |             |             |             |             |              | Lambda:            0.035821 |
|  232 |       4 | Accept |     0.24649 |      1.5588 |      0.2399 |     0.24083 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:    0.0013393 |
|      |         |        |             |             |             |             |              | KernelScale:       0.068648 |
|  233 |       4 | Accept |     0.25426 |      1.4221 |      0.2399 |     0.24157 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.080107 |
|      |         |        |             |             |             |             |              | KernelScale:        0.72702 |
|  234 |       4 | Accept |     0.31558 |      1.8074 |      0.2399 |     0.24166 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.067209 |
|      |         |        |             |             |             |             |              | KernelScale:         2.6645 |
|  235 |       4 | Accept |      0.3443 |      3.9888 |      0.2399 |     0.24166 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         24.211 |
|      |         |        |             |             |             |             |              | Lambda:          5.9888e-07 |
|  236 |       4 | Accept |     0.24619 |      3.3676 |      0.2399 |     0.24171 |          svm | Coding:            onevsone |
|      |         |        |             |             |             |             |              | BoxConstraint:      0.64044 |
|      |         |        |             |             |             |             |              | KernelScale:       0.072822 |
|  237 |       4 | Accept |     0.24948 |      4.0124 |      0.2399 |     0.24171 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:        0.72883 |
|      |         |        |             |             |             |             |              | Lambda:            0.020466 |
|  238 |       4 | Accept |     0.44601 |      3.6883 |      0.2399 |      0.2408 |          svm | Coding:            onevsall |
|      |         |        |             |             |             |             |              | BoxConstraint:     0.016081 |
|      |         |        |             |             |             |             |              | KernelScale:       0.065807 |
|  239 |       4 | Accept |     0.25636 |      4.1374 |      0.2399 |      0.2408 |       kernel | Coding:            onevsall |
|      |         |        |             |             |             |             |              | KernelScale:         4.6533 |
|      |         |        |             |             |             |             |              | Lambda:          9.4081e-07 |
|  240 |       4 | Accept |     0.26114 |      5.0408 |      0.2399 |      0.2408 |       kernel | Coding:            onevsone |
|      |         |        |             |             |             |             |              | KernelScale:         12.554 |
|      |         |        |             |             |             |             |              | Lambda:          1.5929e-06 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 240 reached.
Total function evaluations: 240
Total elapsed time: 1954.7195 seconds.
Total objective function evaluation time: 2414.1608

Best observed feasible point is a multiclass svm model with:
	Coding (ECOC):     onevsone
	BoxConstraint:     0.035844
	KernelScale:        0.08166

Observed objective function value = 0.2399
Estimated objective function value = 0.24266
Function evaluation time = 1.4853

Best estimated feasible point (according to models) is a multiclass svm model with:
	Coding (ECOC):     onevsone
	BoxConstraint:     0.018425
	KernelScale:        0.05816

Estimated objective function value = 0.2408
Estimated function evaluation time = 1.6217

fitcauto によって返される最終的なモデルは、最適な推定実行可能点に相当します。モデルを返す前に、関数は学習データ全体 (XTrainYTrain)、リストされている Learner (またはモデル) のタイプ、および表示されたハイパーパラメーター値を使用して、モデルの再学習を行います。

検定セットのパフォーマンスの評価

モデル Mdl は、基準 'min-visited-mean' に従った、ベイズ最適化における最良の点に対応します。新しいデータに対するモデルのパフォーマンスを評価するには、モデルで観測された交差検証精度 (cvAccuracy)、およびベイズ最適化に基づき推定されたモデルの全体的なパフォーマンス (estimatedAccuracy) を確認します。

[x,~,iteration] = bestPoint(Results,'Criterion','min-visited-mean');

cvError = Results.ObjectiveTrace(iteration);
cvAccuracy = 1 - cvError
cvAccuracy = 0.7601
estimatedError = predictObjective(Results,x);
estimatedAccuracy = 1 - estimatedError
estimatedAccuracy = 0.7592

検定セットに対するモデルのパフォーマンスを評価します。結果から混同行列を作成し、混同行列におけるクラスの順序を指定します。

testAccuracy = 1 - loss(Mdl,XTest,YTest)
testAccuracy = 0.7438
cm = confusionchart(YTest,predict(Mdl,XTest));
sortClasses(cm,{'AAA','AA','A','BBB','BB','B','CCC'})

入力引数

すべて折りたたむ

標本データ。テーブルとして指定します。Tbl の各行は 1 つの観測値に、各列は 1 つの予測子に対応します。オプションとして、Tbl に応答変数用の列を 1 つ追加できます。文字ベクトルの cell 配列ではない cell 配列と複数列の変数は使用できません。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数をすべて予測子として使用するには、ResponseVarName を使用して応答変数を指定します。

Tbl に応答変数が含まれている場合に Tbl 内の他の変数の一部のみを予測子として使用するには、formula を使用して式を指定します。

Tbl に応答変数が含まれていない場合は、Y を使用して応答変数を指定します。応答変数の長さと Tbl の行数は等しくなければなりません。

メモ

線形分類モデルまたはカーネル分類モデルの場合、fitcauto は table をサポートしません。つまり、Learners'linear' モデルまたは 'kernel' モデルを含める場合、TblResponseVarName、または formula を指定することはできません。代わりに、予測子データの行列 (X) と応答の配列 (Y) を指定します。

データ型: table

応答変数の名前。Tbl 内の変数の名前で指定します。

ResponseVarName には文字ベクトルまたは string スカラーを指定しなければなりません。たとえば、応答変数 YTbl.Y として格納されている場合、'Y' として指定します。それ以外の場合、モデルを学習させるときに、Tbl の列は Y を含めてすべて予測子として扱われます。

応答変数は、categorical 配列、文字配列、string 配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列でなければなりません。Y が文字配列である場合、応答変数の各要素は配列の 1 つの行に対応しなければなりません。

名前と値のペアの引数 ClassNames を使用してクラスの順序を指定することをお勧めします。

データ型: char | string

応答変数および予測子変数サブセットの説明モデル。'Y~X1+X2+X3' という形式の文字ベクトルまたは string スカラーを指定します。この式では、Y は応答変数を、X1X2 および X3 は予測子変数を表します。

モデルに学習をさせるための予測子として Tbl 内の変数のサブセットを指定するには、式を使用します。式を指定した場合、formula に現れない Tbl 内の変数は使用されません。

式の変数名は Tbl の変数名 (Tbl.Properties.VariableNames) であり、有効な MATLAB® 識別子でなければなりません。

関数 isvarname を使用して Tbl の変数名を検証できます。次のコードは、有効な変数名をもつ各変数の logical 1 (true) を返します。

cellfun(@isvarname,Tbl.Properties.VariableNames)
Tbl の変数名が有効ではない場合、関数 matlab.lang.makeValidName を使用してそれらを変換します。
Tbl.Properties.VariableNames = matlab.lang.makeValidName(Tbl.Properties.VariableNames);

データ型: char | string

クラス ラベル。数値ベクトル、categorical ベクトル、logical ベクトル、文字配列、string 配列、または文字ベクトルの cell 配列として指定します。

  • Y が文字配列である場合、クラス ラベルの各要素は配列の 1 つの行に対応しなければなりません。

  • Y の長さと Tbl または X の行数は同じでなければなりません。

  • 名前と値のペアの引数 ClassNames を使用してクラスの順序を指定することをお勧めします。

データ型: single | double | categorical | logical | char | string | cell

予測子データ。数値行列として指定します。

X の各行は 1 つの観測値に、各列は 1 つの予測子に対応します。

Y の長さと X の行数は等しくなければなりません。

予測子の名前を X に表示される順序で指定するには、PredictorNames 名前と値のペアの引数を使用します。

データ型: single | double

メモ

NaN、空の文字ベクトル ('')、空の string ("")、<missing> および <undefined> 要素は欠損データとして扱われます。応答変数の欠損値に対応するデータの行は削除されます。ただし、予測子データ X または Tbl の欠損値の処理は、モデル (学習器) によって異なります。

名前と値のペアの引数

オプションの Name,Value 引数のコンマ区切りペアを指定します。Name は引数名で、Value は対応する値です。Name は引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を、任意の順番で指定できます。

例: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',200,'Verbose',2) は、最適化プロセスを 200 回反復する (つまり、モデル ハイパーパラメーターの組み合わせを 200 通り試す) よう指定し、次に評価するモデル ハイパーパラメーターの組み合わせに関する情報をコマンド ウィンドウに表示します。
最適化オプション

すべて折りたたむ

最適化で試行する分類モデルのタイプ。'Learners' と、以下の最初の表に示す値 (または 2 番目の表に示す 1 つ以上の学習器の名前) から構成されるコンマ区切りのペアとして指定します。複数の学習器の名前を string または cell 配列として指定します。

説明
'auto'fitcauto は、指定された予測子データと応答データに適した学習器のサブセットを自動的に選択します。この学習器は、既定とは異なるモデル ハイパーパラメーター値をもつ場合があります。詳細は、学習器の自動選択を参照してください。
'all'fitcauto は、使用可能なすべての学習器を選択します。
'all-linear'fitcauto は、次のすべての線形学習器を選択します。'discr' (線形判別タイプ)、'linear'、および 'svm' (線形カーネル)。
'all-nonlinear'fitcauto は、次のすべての非線形学習器を選択します。'discr' (二次判別タイプ)、'ensemble''kernel''knn''nb''svm' (ガウス カーネルまたは多項式カーネル)、および 'tree'

学習器名説明
'discr'判別分析分類器
'ensemble'アンサンブル分類モデル
'kernel'カーネル分類モデル
'knn'k 最近傍モデル
'linear'線形分類モデル
'nb'単純ベイズ分類器
'svm'サポート ベクター マシン分類器
'tree'バイナリ決定分類木

例: 'Learners','all'

例: 'Learners','ensemble'

例: 'Learners',{'svm','tree'}

データ型: char | string | cell

最適化するハイパーパラメーター。'OptimizeHyperparameters' と、'auto' (または 'all') から構成されるコンマ区切りのペアとして指定します。最適化可能なハイパーパラメーターは、次の表で説明されているように、モデル (学習器) によって異なります。

学習器名'auto' の場合のハイパーパラメーター'all' の場合の追加ハイパーパラメーターメモ:
'discr'Delta, GammaDiscrimType

  • Learners の値が 'all-linear' の場合、関数 fitcauto は、OptimizeHyperparameters の値にかかわらず、DiscrimType のいずれかの値 ('linear''diaglinear'、および 'pseudolinear') を選択します。

  • Learners の値が 'all-nonlinear' の場合、関数 fitcauto は、OptimizeHyperparameters の値にかかわらず、DiscrimType のいずれかの値 ('quadratic''diagquadratic'、および 'pseudoquadratic') を選択します。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。

'ensemble'Method, NumLearningCycles, LearnRate, MinLeafSizeMaxNumSplits, NumVariablesToSample, SplitCriterion

  • アンサンブルの Method の値がブースティング法の場合、アンサンブルの NumBins の値は 50 になります。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。

'kernel'KernelScaleLambdaCoding (3 クラス以上の場合のみ)Learner, NumExpansionDimensionsハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters および OptimizeHyperparameters (3 クラス以上の場合のみ) を参照してください。
'knn'Distance, NumNeighborsDistanceWeight, Exponent, Standardizeハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。
'linear'LambdaLearnerCoding (3 クラス以上の場合のみ)Regularizationハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters および OptimizeHyperparameters (3 クラス以上の場合のみ) を参照してください。
'nb'DistributionNames, WidthKernelハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。
'svm'BoxConstraintKernelScaleCoding (3 クラス以上の場合のみ)KernelFunction, PolynomialOrder, Standardize

  • Learners の値が 'all-linear' の場合、関数 fitcauto は、OptimizeHyperparameters の値が 'all' のときにハイパーパラメーター KernelFunction または PolynomialOrder を最適化しません。

  • Learners の値が 'all-nonlinear' の場合、関数 fitcauto は、OptimizeHyperparameters の値にかかわらず、KernelFunction のいずれかの値 ('gaussian' および 'polynomial') を選択します。

ハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters および OptimizeHyperparameters (3 クラス以上の場合のみ) を参照してください。

'tree'MinLeafSizeMaxNumSplits, NumVariablesToSample, SplitCriterionハイパーパラメーターの検索範囲などの詳細については、OptimizeHyperparameters を参照してください。

メモ

Learners'auto' 以外の値に設定されている場合、最適化されないモデル ハイパーパラメーターの既定値は、表のメモで示されていない限り、既定の近似関数の値と一致します。Learners'auto' に設定されている場合、最適化されたハイパーパラメーターの検索範囲と最適化されていないハイパーパラメーターの値は、学習データの特性によって異なる場合があります。

例: 'OptimizeHyperparameters','all'

最適化のオプション。'HyperparameterOptimizationOptions' と構造体から構成されるコンマ区切りのペアとして指定します。この構造体のフィールドは、すべてオプションです。

フィールド名既定の設定
MaxObjectiveEvaluations目的関数評価の最大数30*LL は学習器の数
MaxTime

制限時間。正の実数として指定します。制限時間の単位は、tictoc によって測定される秒です。MaxTime は関数評価を中断させないため、実行時間が MaxTime を超える可能性があります。

Inf
ShowPlotsプロットを表示するかどうかを示す論理値。true の場合、その時点における最良の目的関数の観測値と推定値が反復回数に対してプロットされます。true
SaveIntermediateResults結果を保存するかどうかを示す logical 値。true の場合、'BayesoptResults' という名前のワークスペース変数が反復ごとに上書きされます。この変数は BayesianOptimization オブジェクトです。false
Verbose

コマンド ラインに次を表示します。

  • 0 — 反復表示なし

  • 1 — 反復表示あり

  • 2 — 反復表示、および次に評価する点に関する追加情報

1
UseParallelベイズ最適化を並列実行するかどうかを示す論理値。並列実行には Parallel Computing Toolbox™ が必要です。並列でのタイミングに再現性がないため、並列ベイズ最適化で再現性のある結果が生成されるとは限りません。false
Repartition

反復ごとに交差検証を再分割するかどうかを示す論理値。false の場合、オプティマイザーは単一の分割を最適化に使用します。

分割ノイズが考慮されるので、通常は true にすると最も確実な結果が得られます。ただし、true で良好な結果を得るには、2 倍以上の関数評価が必要になります。

false
次の 3 つのオプションのいずれか 1 つのみを指定してください。
CVPartitioncvpartition によって作成された cvpartition オブジェクト交差検証フィールドが指定されていない場合 'Kfold',5
Holdoutホールドアウトの比率を表す範囲 (0,1) のスカラー
Kfold1 より大きい整数

例: 'HyperparameterOptimizationOptions',struct('UseParallel',true)

データ型: struct

分類オプション

すべて折りたたむ

カテゴリカル予測子のリスト。'CategoricalPredictors' と次の表のいずれかの値から構成されるコンマ区切りのペアとして指定します。

説明
正の整数のベクトルベクトルの各エントリは、カテゴリカル変数が含まれている予測子データ (X または Tbl) の列に対応するインデックス値です。
logical ベクトルtrue というエントリは、予測子データ (X または Tbl) の対応する列がカテゴリカル変数であることを意味します。
文字行列行列の各行は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。文字行列の各行が同じ長さになるように、名前を余分な空白で埋めてください。
文字ベクトルの cell 配列または string 配列配列の各要素は予測子変数の名前です。名前は PredictorNames のエントリに一致しなくてはなりません。
'all'すべての予測子がカテゴリカルです。

既定では、予測子データがテーブル (Tbl) 内にある場合、fitcauto は、その変数が logical ベクトル、categorical ベクトル、文字配列、string 配列または文字ベクトルの cell 配列のいずれかである場合に、変数を categorical であると見なします。ただし、決定木を使用する学習器は、数学的に順序付けされた categorical ベクトルを連続変数と仮定します。予測子データが行列 (X) である場合、fitcauto はすべての予測子が連続的であると見なします。他の予測子をカテゴリカル予測子として指定するには、名前と値のペアの引数 'CategoricalPredictors' を使用してそれらを指定します。

近似関数がカテゴリカル予測子を扱う方法の詳細については、ダミー変数の自動作成を参照してください。

例: 'CategoricalPredictors','all'

データ型: single | double | logical | char | string | cell

学習に使用するクラスの名前。'ClassNames' と categorical 配列、文字配列、string 配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。ClassNames のデータ型は Y と同じでなければなりません。

ClassNames が文字配列の場合、各要素は配列の 1 つの行に対応しなければなりません。

'ClassNames' の使用目的は次のとおりです。

  • 学習時のクラスの順序を指定する。

  • クラスの順序に対応する入力または出力引数の次元の順序を指定する。たとえば、Cost の次元の順序や predict によって返される分類スコアの列の順序を指定するために 'ClassNames' を使用します。

  • 学習用にクラスのサブセットを選択する。たとえば、Y に含まれているすべての異なるクラス名の集合が {'a','b','c'} であるとします。クラス 'a' および 'c' のみの観測値を使用してモデルに学習をさせるには、'ClassNames',{'a','c'} を指定します。

ClassNames の既定値は、Y に含まれているすべての異なるクラス名の集合です。

例: 'ClassNames',{'b','g'}

データ型: categorical | char | string | logical | single | double | cell

誤分類のコスト。'Cost' と正方行列または構造体配列をコンマで区切って指定します。

  • 正方行列 Cost を指定した場合、Cost(i,j) は真のクラスが i である点をクラス j に分類するコストです。つまり、行は真のクラスに、列は予測クラスに対応します。Cost の対応する行と列についてクラスの順序を指定するには、名前と値のペアの引数 ClassNames も指定します。

  • 構造体 S を指定する場合、次の 2 つのフィールドが必要です。

    • S.ClassNames: Y と同じデータ型のクラス名を表す変数を含む。

    • S.ClassificationCosts。行と列の順序が S.ClassNames と同じコスト行列。

Cost の既定値は ones(K) – eye(K) です。K は異なるクラスの個数です。

例: 'Cost',[0 1; 2 0]

データ型: single | double | struct

予測子変数名。'PredictorNames' と一意な名前の string 配列または一意な文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。'PredictorNames' の機能は、学習データの提供方法によって決まります。

  • XY を指定した場合、'PredictorNames' を使用して X の名前で予測子変数を指定できます。

    • PredictorNames 内の名前の順序は、X の列の順序に一致しなければなりません。つまり、PredictorNames{1}X(:,1) の名前、PredictorNames{2}X(:,2) の名前であり、他も同様です。また、size(X,2)numel(PredictorNames) は等しくなければなりません。

    • 既定では PredictorNames{'x1','x2',...} です。

  • Tbl が与えられた場合、'PredictorNames' を使用して学習に使用する予測子変数を選択できます。つまり、fitcautoPredictorNames の予測子変数と応答変数のみを学習で使用します。

    • PredictorNamesTbl.Properties.VariableNames のサブセットでなければならず、応答変数の名前を含めることはできません。

    • 既定では、すべての予測子変数の名前が PredictorNames に格納されます。

    • 'PredictorNames'formula のいずれか一方のみを使用して学習用の予測子を指定することをお勧めします。

例: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

データ型: string | cell

各クラスの事前確率。'Prior' と次の表の値から構成されるコンマ区切りのペアとして指定します。

説明
'empirical'クラスの事前確率は、Y のクラスの相対的頻度です。
'uniform'クラスの事前確率はいずれも 1/K (K はクラス数) となります。
数値ベクトル各要素はクラスの事前確率です。Mdl.ClassNames に従って要素を並べ替えるか、ClassNames 名前と値のペアの引数を使用して順序を指定します。要素は合計が 1 になるように正規化されます。
構造体

構造体 S には 2 つのフィールドがあります。

  • S.ClassNames: Y と同じ型の変数のクラス名が格納されます。

  • S.ClassProbs: 対応する事前確率のベクトルが格納されます。要素は合計が 1 になるように正規化されます。

例: 'Prior',struct('ClassNames',{{'b','g'}},'ClassProbs',1:2)

データ型: single | double | char | string | struct

応答変数名。'ResponseName' と文字ベクトルまたは string スカラーから構成されるコンマ区切りのペアとして指定します。

  • Y を指定した場合、'ResponseName' を使用して応答変数の名前を指定できます。

  • ResponseVarName または formula を指定した場合、'ResponseName' を使用することはできません。

例: 'ResponseName','response'

データ型: char | string

スコア変換。'ScoreTransform' と文字ベクトル、string スカラー、または関数ハンドルから構成されるコンマ区切りのペアとして指定します。

次の表は、使用可能な文字ベクトルおよび string スカラーをまとめています。

説明
'doublelogit'1/(1 + e–2x)
'invlogit'log(x / (1 – x))
'ismax'最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを 0 に設定する
'logit'1/(1 + e–x)
'none' または 'identity'x (変換なし)
'sign'x < 0 のとき –1
x = 0 のとき 0
x > 0 のとき 1
'symmetric'2x – 1
'symmetricismax'最大のスコアをもつクラスのスコアを 1 に設定し、他のすべてのクラスのスコアを –1 に設定する
'symmetriclogit'2/(1 + e–x) – 1

MATLAB 関数またはユーザー定義関数の場合は、スコア変換用の関数ハンドルを使用します。関数ハンドルは、行列 (元のスコア) を受け入れて同じサイズの行列 (変換したスコア) を返さなければなりません。

例: 'ScoreTransform','logit'

データ型: char | string | function_handle

観測値の重み。'Weights' と、正の数値ベクトル (または Tbl に含まれる変数の名前) から構成されるコンマ区切りのペアとして指定します。X または Tbl の各行に含まれている観測値には、Weights の対応する値で重みが付けられます。Weights の長さは、X または Tbl の行数と等しくなければなりません。

入力データをテーブル Tbl として指定した場合、Weights は数値ベクトルが含まれている Tbl 内の変数の名前にすることができます。この場合、Weights には文字ベクトルまたは string スカラーを指定しなければなりません。たとえば、重みベクトル WTbl.W として格納されている場合、'W' として指定します。それ以外の場合、モデルに学習をさせるときに、Tbl の列は W を含めてすべて予測子または応答変数として扱われます。

既定の設定では、Weightsones(n,1) です。nX または Tbl の観測値数です。

合計が各クラスの事前確率の値と等しくなるように Weights が正規化されます。

データ型: single | double | char | string

出力引数

すべて折りたたむ

学習済みの分類モデル。次の表の分類モデル オブジェクトのいずれかとして返されます。

学習器名返されるモデル オブジェクト
'discr'CompactClassificationDiscriminant
'ensemble'CompactClassificationEnsemble
'kernel'
'knn'ClassificationKNN
'linear'
'nb'CompactClassificationNaiveBayes
'svm'
'tree'CompactClassificationTree

最適化の結果。BayesianOptimization オブジェクトとして返されます。ベイズ最適化プロセスの詳細については、ベイズ最適化を参照してください。

ヒント

  • 指定したデータのサイズと学習器の数によっては、fitcauto の処理に時間がかかる場合があります。Parallel Computing Toolbox のライセンスがある場合、最適化を並列実行して計算を高速化することができます。これを行うには、'HyperparameterOptimizationOptions',struct('UseParallel',true) を指定します。この構造体に他のフィールドを含めて、その他の最適化の側面を制御できます。HyperparameterOptimizationOptions を参照してください。

アルゴリズム

すべて折りたたむ

学習器の自動選択

'Learners','auto' を指定した場合、関数 fitcauto は、予測子データと応答データを分析して適切な学習器を選択します。この関数は、データセットに以下の特性が含まれているかどうかを考慮します。

  • カテゴリカル予測子

  • データの 5% を超える欠損値

  • 不均衡データ (最大のクラスの観測値の数と最小のクラスの観測値の数の比が 5 より大きい)

  • 最小クラスの観測値の数が 100 を超える

  • ワイド データ (予測子の数が観測値の数以上である)

  • 高次元データ (予測子の数が 100 を超える)

  • 大規模データ (観測値の数が 50,000 を超える)

  • 二項応答変数

  • 順序応答変数

選択される学習器は常に、Learners の表にリストされている学習器のサブセットになります。ただし、最適化プロセスで試行された関連モデルでは、最適化されていないハイパーパラメーターの既定値や最適化されたハイパーパラメーターの検索範囲が異なる可能性があります。

ベイズ最適化

ベイズ最適化 (一般に、最適化) の目的は、目的関数を最小化する点を見つけることです。fitcauto のコンテキストにおいて、既定では、点は学習器のタイプとその学習機の一連のハイパーパラメーター値の組み合わせであり (LearnersOptimizeHyperparameters を参照)、目的関数は交差検証の分類誤差です。fitcauto の場合、ベイズ最適化は目的関数の複数の TreeBagger モデルを内部に保持します。つまり、目的関数モデルは学習器タイプごとに分割され、与えらえれた学習器に対してこのモデルは回帰用の TreeBagger アンサンブルになります (元となるこのモデルは、ベイズ最適化を使用する Statistics and Machine Learning Toolbox™ の他の関数で採用されているガウス過程モデルとは異なります)。ベイズ最適化は、目的関数の評価を使用して元となるモデルに学習させ、獲得関数 ('expected-improvement') を使用して次に評価する点を決定します。詳細は、期待改善量を参照してください。この獲得関数は、モデル化された目的関数値が低い点での抽出と、まだ十分にはモデル化されていない領域の探索との間でバランスをとります。最適化の終わりに、fitcauto は、最適化の対象となった点のなかから、目的関数のモデルの値が最小となった点を選択します。詳細については、bestPoint の名前と値のペアの引数 'Criterion','min-visited-mean' を参照してください。

代替機能

  • 使用するデータセットに最適なモデルががわからない場合は、分類学習器アプリを代わりに使用することができます。このアプリを使用すると、さまざまなモデルについてハイパーパラメーターを調整して、パフォーマンスが最も高い最適化済みモデルを選択できます。分類学習器では、モデルのハイパーパラメーターを調整する前に特定のモデルを選択しなければなりませんが、最適化可能なハイパーパラメーターの選択とハイパーパラメーター値の設定をより柔軟に行うことができます。ただし、このアプリでは、最適化を並列実行することや、学習器として 'linear' または 'kernel' を選択すること、観測値の重みを指定すること、事前確率を指定することはできません。詳細は、分類学習器アプリのハイパーパラメーターの最適化を参照してください。

  • 使用するデータに適合するモデルがわかっている場合は、対応するモデル近似関数を使用し、名前と値のペアの引数 'OptimizeHyperparameters' を指定して、ハイパーパラメーターを調整することもできます。複数のモデルの結果を比較して最適な分類器を選択できます。このプロセスの例については、ベイズ最適化を使用したモデル選択の自動化への移行を参照してください。

R2020a で導入