Main Content

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

BayesianOptimization

ベイズ最適化の結果

このページをすべて展開する

説明

BayesianOptimization オブジェクトには、ベイズ最適化の結果が格納されます。これは、bayesopt、または fitcdiscr のような名前と値のペア OptimizeHyperparameters を受け入れる近似関数の出力です。さらに、プロット関数または出力関数でアクセスできる bayesopt の各反復のデータも BayesianOptimization オブジェクトに格納されます。

作成

BayesianOptimization オブジェクトを作成するには、関数 bayesopt を使用するか、名前と値のペア OptimizeHyperparameters を指定して近似関数を使用します。

プロパティ

すべて展開する

問題定義のプロパティ

このプロパティは読み取り専用です。

bayesopt で使用した引数 ObjectiveFcn。関数ハンドルとして返されます。

  • bayesopt を直接呼び出した場合、ObjectiveFcn は bayesopt の目的関数引数です。

  • 名前と値のペアの引数 'OptimizeHyperparameters' が含まれる近似関数を呼び出す場合、ObjectiveFcn は、分類の場合は誤分類率を返す関数のハンドル、回帰の場合は 5 分割交差検証で測定した交差検証損失に 1 を加算した値の対数を返す関数のハンドルです。

データ型: function_handle

このプロパティは読み取り専用です。

bayesopt で使用した引数 VariableDescriptions。optimizableVariable オブジェクトのベクトルとして返されます。

  • bayesopt を直接呼び出した場合、VariableDescriptions は bayesopt の変数説明引数になります。

  • 名前と値のペア OptimizeHyperparameters を使用して近似関数を呼び出した場合、VariableDescriptions はハイパーパラメーターのベクトルになります。

このプロパティは読み取り専用です。

bayesopt で使用したオプション。構造体として返されます。

  • bayesopt を直接呼び出した場合、Options は bayesopt で使用したオプション (名前と値のペア) になります。bayesopt の入力引数を参照してください。

  • 名前と値のペア OptimizeHyperparameters を使用して近似関数を呼び出した場合、Options は既定の bayesopt オプションを名前と値のペア HyperparameterOptimizationOptions で修正したものになります。

Options は、以下のフィールドが含まれている読み取り専用の構造体です。

オプション名意味
AcquisitionFunctionName獲得関数名。獲得関数のタイプを参照してください。
IsObjectiveDeterministic目的関数が確定的な場合は true、それ以外の場合は false。
ExplorationRatioAcquisitionFunctionName が 'expected-improvement-plus' または 'expected-improvement-per-second-plus' の場合のみ使用。プラスを参照してください。
  
MaxObjectiveEvaluations目的関数の評価制限。
MaxTime制限時間。
  
XConstraintFcn変数の確定的制約。確定的制約 — XConstraintFcnを参照してください。
ConditionalVariableFcn変数の条件付き制約。条件付き制約 — ConditionalVariableFcnを参照してください。
NumCoupledConstraints連結制約の個数。連結制約を参照してください。
CoupledConstraintTolerances連結制約の許容誤差。連結制約を参照してください。
AreCoupledConstraintsDeterministic各連結制約が確定的であるかどうかを指定する logical ベクトル。
  
Verboseコマンド ラインの表示レベル。
OutputFcn各反復後に呼び出される関数。ベイズ最適化の出力関数を参照してください。
SaveVariableName出力関数 @assignInBase の変数名。
SaveFileName出力関数 @saveToFile のファイル名。
PlotFcn各反復後に呼び出されるプロット関数。ベイズ最適化のプロット関数を参照してください。
  
InitialXbayesopt で目的関数を評価した点。
InitialObjectiveInitialX における目的関数の値。
InitialConstraintViolationsInitialX における連結制約関数の値。
InitialErrorValuesInitialX における誤差値。
InitialObjectiveEvaluationTimesInitialX における目的関数の評価時間。
InitialIterationTimes目的関数の評価および他の計算を含む、各反復の時間。

データ型: struct

解のプロパティ

このプロパティは読み取り専用です。

観測された目的関数の最小値。実数スカラーとして返されます。連結制約または評価誤差がある場合、この値は、最終的な制約および誤差モデルに準じて実行可能であるすべての観測点における最小値になります。

データ型: double

このプロパティは読み取り専用です。

目的関数最小値の観測点。1 行 D 列のテーブルとして返されます。D は変数の個数です。

データ型: table

このプロパティは読み取り専用です。

推定された目的関数の最小値。実数スカラーとして返されます。MinEstimatedObjective は最終的な目的モデルを使用します。

MinEstimatedObjective は、既定の基準における bestPoint の CriterionValue の結果と同じです。

データ型: double

このプロパティは読み取り専用です。

目的関数の推定値が最小になる点。1 行 D 列のテーブルとして返されます。D は変数の個数です。XAtMinEstimatedObjective は最終的な目的モデルを使用します。

データ型: table

このプロパティは読み取り専用です。

目的関数の評価回数。正の整数として返されます。これには、事後モデルを形成するための初期評価と最適化反復時の評価が含まれます。

データ型: double

このプロパティは読み取り専用です。

秒単位の最適化の合計経過時間。正のスカラーとして返されます。

データ型: double

このプロパティは読み取り専用です。

最適化継続時の次の評価点。1 行 D 列のテーブルとして返されます。D は変数の個数です。

データ型: table

トレースのプロパティ

このプロパティは読み取り専用です。

目的関数が評価された点。T 行 D 列のテーブルとして返されます。T は評価点の個数、D は変数の個数です。

データ型: table

このプロパティは読み取り専用です。

目的関数の値。長さ T の列ベクトルとして返されます。T は評価点の個数です。ObjectiveTrace には目的関数評価の履歴が格納されます。

データ型: double

このプロパティは読み取り専用です。

目的関数の評価時間。長さ T の列ベクトルとして返されます。T は評価点の個数です。目的関数は連結制約を計算するので、ObjectiveEvaluationTimeTrace には連結制約を評価する時間が含まれます。

データ型: double

このプロパティは読み取り専用です。

反復時間。長さ T の列ベクトルとして返されます。T は評価点の個数です。IterationTimeTrace には目的関数の評価時間とその他のオーバーヘッドの両方が含まれます。

データ型: double

このプロパティは読み取り専用です。

連結制約の値。T 行 K 列の配列として返されます。T は評価点の個数、K は連結制約の個数です。

データ型: double

このプロパティは読み取り専用です。

誤差指標。エントリが -1 または 1 である長さ T の列ベクトルとして返されます。T は評価点の個数です。1 の入力はそれぞれ、XTrace 内の対応する点で目的関数がエラーになったか NaN を返したことを示します。-1 の入力はそれぞれ、目的関数の値が計算されたことを示します。

データ型: double

このプロパティは読み取り専用です。

実行可能性の指標。長さ T の論理列ベクトルとして返されます。T は評価点の個数です。1 の入力はそれぞれ、XTrace 内の対応する点において最終的な制約モデルが実行可能性を予測することを示します。

データ型: logical

このプロパティは読み取り専用です。

評価点が実行可能である確率。長さ T の列ベクトルとして返されます。T は評価点の個数です。この確率は、XTrace 内の対応する点における、誤差制約モデルを含む最終的な制約モデルに由来します。

データ型: double

このプロパティは読み取り専用です。

最小実行可能目的関数を与える評価。長さ T の整数インデックスの列ベクトルとして返されます。T は評価点の個数です。実行可能性は、誤差制約モデルを含む、各反復で存在した制約モデルに関して決定されます。

データ型: double

このプロパティは読み取り専用です。

観測された目的関数の最小値。整数インデックスが格納されている長さ T の列ベクトルとして返されます。T は評価点の個数です。

データ型: double

このプロパティは読み取り専用です。

推定された目的関数の最小値。整数インデックスが格納されている長さ T の列ベクトルとして返されます。T は評価点の個数です。各反復で推定される目的関数の値は、その反復で存在した目的モデルに関して決定されます。

データ型: double

このプロパティは読み取り専用です。

目的関数の補助データ。長さ T の cell 配列として返されます。T は評価点の個数です。cell 配列の各エントリは、目的関数の 3 番目の出力で返される UserData です。

データ型: cell

オブジェクト関数

bestPoint基準に従った、ベイズ最適化における最良の点
plotベイズ最適化の結果のプロット
predictConstraints一連の点における連結制約違反の予測
predictError一連の点における誤差値の予測
predictObjective一連の点における目的関数の予測
predictObjectiveEvaluationTime一連の点における目的関数の実行回数の予測
resumeベイズ最適化を再開

例

すべて折りたたむ

ライブ スクリプトを開く

この例では、bayesopt を使用して交差検証損失を最小化することにより BayesianOptimization オブジェクトを作成する方法を示します。

ionosphere データに対し、KNN 分類器のハイパーパラメーターを最適化、つまり、交差検証損失が最小になる KNN のハイパーパラメーターを求めます。bayesopt で次のハイパーパラメーターに対する最小化を行います。

  • 1 ～ 30 の最近傍サイズ。

  • 距離関数 'chebychev'、'euclidean' および 'minkowski'

再現性を得るため、乱数シードと分割を設定し、AcquisitionFunctionName オプションを 'expected-improvement-plus' に設定します。反復表示を非表示にするには 'Verbose' を 0 に設定します。このデータを組み込む無名関数として fun を作成して、区分 c と近似データ X および Y を目的関数 fun に渡します。関数のパラメーター化 を参照してください。

load ionosphere
rng default
num = optimizableVariable('n',[1,30],'Type','integer');
dst = optimizableVariable('dst',{'chebychev','euclidean','minkowski'},'Type','categorical');
c = cvpartition(351,'Kfold',5);
fun = @(x)kfoldLoss(fitcknn(X,Y,'CVPartition',c,'NumNeighbors',x.n,...
    'Distance',char(x.dst),'NSMethod','exhaustive'));
results = bayesopt(fun,[num,dst],'Verbose',0,...
    'AcquisitionFunctionName','expected-improvement-plus')

results = 
  BayesianOptimization with properties:

                      ObjectiveFcn: [function_handle]
              VariableDescriptions: [1x2 optimizableVariable]
                           Options: [1x1 struct]
                      MinObjective: 0.1197
                   XAtMinObjective: [1x2 table]
             MinEstimatedObjective: 0.1213
          XAtMinEstimatedObjective: [1x2 table]
           NumObjectiveEvaluations: 30
                  TotalElapsedTime: 47.7084
                         NextPoint: [1x2 table]
                            XTrace: [30x2 table]
                    ObjectiveTrace: [30x1 double]
                  ConstraintsTrace: []
                     UserDataTrace: {30x1 cell}
      ObjectiveEvaluationTimeTrace: [30x1 double]
                IterationTimeTrace: [30x1 double]
                        ErrorTrace: [30x1 double]
                  FeasibilityTrace: [30x1 logical]
       FeasibilityProbabilityTrace: [30x1 double]
               IndexOfMinimumTrace: [30x1 double]
             ObjectiveMinimumTrace: [30x1 double]
    EstimatedObjectiveMinimumTrace: [30x1 double]
ライブ スクリプトを開く

この例では、SVM 分類器のベイズ最適化を使用して ionosphere データの交差検証損失を最小化する方法を示します。

データを読み込みます。

load ionosphere

'auto' パラメーターを使用して分類を最適化します。

rng default % For reproducibility
Mdl = fitcsvm(X,Y,'OptimizeHyperparameters','auto')
|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstraint|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|    1 | Best   |     0.21652 |      17.227 |     0.21652 |     0.21652 |       64.836 |    0.0015729 |

|    2 | Accept |     0.35897 |    0.076634 |     0.21652 |     0.22539 |     0.036335 |       5.5755 |

|    3 | Best   |     0.13105 |       6.789 |     0.13105 |     0.14152 |    0.0022147 |    0.0023957 |

|    4 | Accept |     0.35897 |    0.076591 |     0.13105 |     0.13108 |       5.1259 |        98.62 |

|    5 | Best   |     0.12251 |    0.083261 |     0.12251 |     0.12253 |    0.0010264 |     0.042908 |

|    6 | Accept |     0.12536 |     0.11182 |     0.12251 |     0.12242 |    0.0010276 |      0.01796 |

|    7 | Accept |     0.13105 |      1.3745 |     0.12251 |     0.12363 |      0.04548 |     0.028371 |

|    8 | Accept |     0.12821 |    0.092434 |     0.12251 |     0.12489 |     0.001004 |     0.030765 |

|    9 | Accept |      0.1339 |    0.078771 |     0.12251 |     0.12489 |    0.0010115 |     0.074186 |

|   10 | Accept |     0.12536 |     0.14329 |     0.12251 |     0.12493 |    0.0010018 |     0.012976 |

|   11 | Accept |     0.12821 |    0.097635 |     0.12251 |     0.12596 |     0.001089 |     0.029027 |

|   12 | Accept |     0.13675 |     0.27617 |     0.12251 |     0.12541 |    0.0010255 |    0.0089521 |

|   13 | Accept |      0.1339 |    0.088394 |     0.12251 |     0.12704 |    0.0010116 |     0.035171 |

|   14 | Accept |     0.35897 |    0.078646 |     0.12251 |     0.12704 |    0.0013423 |       76.712 |

|   15 | Accept |     0.35897 |    0.075086 |     0.12251 |       0.127 |      0.13735 |       993.22 |

|   16 | Accept |     0.35897 |    0.075732 |     0.12251 |     0.12698 |       994.11 |       990.15 |

|   17 | Accept |     0.35897 |    0.093507 |     0.12251 |     0.12763 |    0.0010027 |      0.85485 |

|   18 | Accept |     0.12536 |    0.083076 |     0.12251 |     0.12657 |    0.0010101 |     0.048845 |

|   19 | Accept |     0.12821 |    0.083382 |     0.12251 |     0.12701 |    0.0010938 |     0.047844 |

|   20 | Accept |     0.12536 |     0.11448 |     0.12251 |     0.12556 |    0.0010146 |     0.017572 |

|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstraint|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|   21 | Accept |     0.12251 |     0.11771 |     0.12251 |     0.12461 |    0.0010166 |     0.018502 |

|   22 | Accept |     0.12251 |     0.12403 |     0.12251 |     0.12405 |     0.001065 |     0.018515 |

|   23 | Accept |     0.35897 |    0.079806 |     0.12251 |     0.12416 |      0.03993 |       21.731 |

|   24 | Accept |     0.35897 |    0.075101 |     0.12251 |     0.12429 |       2.3338 |       336.56 |

|   25 | Accept |     0.12536 |     0.17006 |     0.12251 |     0.12423 |       992.83 |        14.69 |

|   26 | Accept |     0.13675 |     0.30995 |     0.12251 |     0.12421 |       987.13 |       5.8314 |

|   27 | Accept |     0.13105 |     0.19598 |     0.12251 |     0.12442 |    0.0029454 |     0.017583 |

|   28 | Accept |     0.12251 |      0.1239 |     0.12251 |     0.12445 |    0.0062605 |     0.059597 |

|   29 | Accept |     0.12821 |     0.14179 |     0.12251 |     0.12451 |     0.022617 |     0.065617 |

|   30 | Accept |     0.13105 |     0.16587 |     0.12251 |     0.12458 |       995.38 |       10.651 |


__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 55.6497 seconds.
Total objective function evaluation time: 28.6241

Best observed feasible point:
    BoxConstraint    KernelScale
    _____________    ___________

      0.0010264       0.042908  

Observed objective function value = 0.12251
Estimated objective function value = 0.12703
Function evaluation time = 0.083261

Best estimated feasible point (according to models):
    BoxConstraint    KernelScale
    _____________    ___________

      0.0010146       0.017572  

Estimated objective function value = 0.12458
Estimated function evaluation time = 0.11721

Mdl = 
  ClassificationSVM
                         ResponseName: 'Y'
                CategoricalPredictors: []
                           ClassNames: {'b'  'g'}
                       ScoreTransform: 'none'
                      NumObservations: 351
    HyperparameterOptimizationResults: [1×1 BayesianOptimization]
                                Alpha: [90×1 double]
                                 Bias: -5.7329
                     KernelParameters: [1×1 struct]
                       BoxConstraints: [351×1 double]
                      ConvergenceInfo: [1×1 struct]
                      IsSupportVector: [351×1 logical]
                               Solver: 'SMO'


  Properties, Methods

このあてはめでは、既定の 5 分割交差検証について損失が約 12% になりました。

返されたモデルの HyperparameterOptimizationResults プロパティで返された BayesianOptimization オブジェクトを確認します。

disp(Mdl.HyperparameterOptimizationResults)
  BayesianOptimization with properties:

                      ObjectiveFcn: @createObjFcn/inMemoryObjFcn
              VariableDescriptions: [5×1 optimizableVariable]
                           Options: [1×1 struct]
                      MinObjective: 0.1225
                   XAtMinObjective: [1×2 table]
             MinEstimatedObjective: 0.1246
          XAtMinEstimatedObjective: [1×2 table]
           NumObjectiveEvaluations: 30
                  TotalElapsedTime: 55.6497
                         NextPoint: [1×2 table]
                            XTrace: [30×2 table]
                    ObjectiveTrace: [30×1 double]
                  ConstraintsTrace: []
                     UserDataTrace: {30×1 cell}
      ObjectiveEvaluationTimeTrace: [30×1 double]
                IterationTimeTrace: [30×1 double]
                        ErrorTrace: [30×1 double]
                  FeasibilityTrace: [30×1 logical]
       FeasibilityProbabilityTrace: [30×1 double]
               IndexOfMinimumTrace: [30×1 double]
             ObjectiveMinimumTrace: [30×1 double]
    EstimatedObjectiveMinimumTrace: [30×1 double]

参考

| | | | | | | | | | | | |

トピック

R2016b で導入

Statistics and Machine Learning Toolbox ドキュメンテーション

サポート

機械学習をマスターする: MATLAB ステップ・バイ・ステップ ガイド

機械学習をマスターする: MATLAB ステップ・バイ・ステップ ガイド

ebookをダウンロードする