このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

BayesianOptimization

ベイズ最適化の結果

説明

BayesianOptimization オブジェクトには、ベイズ最適化の結果が格納されます。これは、bayesopt、または fitcdiscr のような名前と値のペア OptimizeHyperparameters を受け入れる近似関数の出力です。さらに、プロット関数または出力関数でアクセスできる bayesopt の各反復のデータも BayesianOptimization オブジェクトに格納されます。

作成

BayesianOptimization オブジェクトを作成するには、関数 bayesopt を使用するか、名前と値の引数 OptimizeHyperparameters を指定して次のいずれかの近似関数を使用します。

• 分類近似関数: fitcdiscr、fitcecoc、fitcensemble、fitcgam、fitckernel、fitcknn、fitclinear、fitcnb、fitcnet、fitcsvm、fitctree

• 回帰近似関数: fitrensemble、fitrgam、fitrgp、fitrkernel、fitrlinear、fitrnet、fitrsvm、fitrtree

プロパティ

問題定義のプロパティ

ObjectiveFcn — bayesopt で使用した引数 ObjectiveFcn

関数ハンドル

このプロパティは読み取り専用です。

bayesopt で使用した引数 ObjectiveFcn。関数ハンドルとして指定されます。

• bayesopt を直接呼び出した場合、ObjectiveFcn は bayesopt の目的関数引数です。

• 名前と値のペアの引数 'OptimizeHyperparameters' が含まれる近似関数を呼び出す場合、ObjectiveFcn は、分類の場合は誤分類率を返す関数のハンドル、回帰の場合は 5 分割交差検証で測定した交差検証損失に 1 を加算した値の対数を返す関数のハンドルです。

データ型: function_handle

VariableDescriptions — bayesopt で使用した引数 VariableDescriptions

optimizableVariable オブジェクトのベクトル

このプロパティは読み取り専用です。

bayesopt で使用した引数 VariableDescriptions。optimizableVariable オブジェクトのベクトルとして指定されます。

• bayesopt を直接呼び出した場合、VariableDescriptions は bayesopt の変数説明引数になります。

• 名前と値のペア OptimizeHyperparameters を使用して近似関数を呼び出した場合、VariableDescriptions はハイパーパラメーターのベクトルになります。

Options — bayesopt で使用したオプション

構造体

このプロパティは読み取り専用です。

bayesopt で使用したオプション。構造体として指定されます。

• bayesopt を直接呼び出した場合、Options は bayesopt で使用したオプション (名前と値のペア) になります。bayesopt の入力引数を参照してください。

• 名前と値のペア OptimizeHyperparameters を使用して近似関数を呼び出した場合、Options は既定の bayesopt オプションを名前と値のペア HyperparameterOptimizationOptions で修正したものになります。

Options は、以下のフィールドが含まれている読み取り専用の構造体です。

オプション名	意味
AcquisitionFunctionName	獲得関数名。獲得関数のタイプを参照してください。
IsObjectiveDeterministic	目的関数が確定的な場合は true、それ以外の場合は false。
ExplorationRatio	AcquisitionFunctionName が 'expected-improvement-plus' または 'expected-improvement-per-second-plus' の場合のみ使用。プラスを参照してください。
MaxObjectiveEvaluations	目的関数の評価制限。
MaxTime	制限時間。
XConstraintFcn	変数の確定的制約。確定的制約 — XConstraintFcnを参照してください。
ConditionalVariableFcn	変数の条件付き制約。条件付き制約 — ConditionalVariableFcnを参照してください。
NumCoupledConstraints	連結制約の個数。連結制約を参照してください。
CoupledConstraintTolerances	連結制約の許容誤差。連結制約を参照してください。
AreCoupledConstraintsDeterministic	各連結制約が確定的であるかどうかを指定する logical ベクトル。
Verbose	コマンド ラインの表示レベル。
OutputFcn	各反復後に呼び出される関数。ベイズ最適化の出力関数を参照してください。
SaveVariableName	出力関数 @assignInBase の変数名。
SaveFileName	出力関数 @saveToFile のファイル名。
PlotFcn	各反復後に呼び出されるプロット関数。ベイズ最適化のプロット関数を参照してください。
InitialX	bayesopt で目的関数を評価した点。
InitialObjective	InitialX における目的関数の値。
InitialConstraintViolations	InitialX における連結制約関数の値。
InitialErrorValues	InitialX における誤差値。
InitialObjectiveEvaluationTimes	InitialX における目的関数の評価時間。
InitialIterationTimes	目的関数の評価および他の計算を含む、各反復の時間。

データ型: struct

解のプロパティ

MinObjective — 観測された目的関数の最小値

実数スカラー

このプロパティは読み取り専用です。

観測された目的関数の最小値。実数スカラーとして指定されます。連結制約または評価誤差がある場合、この値は、最終的な制約および誤差モデルに準じて実行可能であるすべての観測点における最小値になります。

データ型: double

XAtMinObjective — 目的関数最小値の観測点

1 行 D 列のテーブル

このプロパティは読み取り専用です。

目的関数最小値の観測点。1 行 D 列のテーブルとして指定されます。D は変数の個数です。

データ型: table

MinEstimatedObjective — 目的関数の推定値

実数スカラー

このプロパティは読み取り専用です。

XAtMinEstimatedObjective における目的関数の推定値。実数スカラーとして指定されます。

MinEstimatedObjective は、最終的な目的モデルの事後分布の平均値です。MinEstimatedObjective の値は、XAtMinEstimatedObjective をオブジェクト関数 predictObjective に渡して推定されます。

データ型: double

XAtMinEstimatedObjective — 目的関数値の信頼限界の上限が最小になる点

1 行 D 列のテーブル

このプロパティは読み取り専用です。

探索点内において目的関数値の信頼限界の上限が最小になる点。1 行 D 列のテーブルとして指定されます。D は変数の個数です。探索点の信頼限界の上限は、最終的な目的モデルを使用して求められます。

XAtMinEstimatedObjective は、関数 bestPoint によって既定の基準 ('min-visited-upper-confidence-interval') で返される最良の点と同じです。

データ型: table

NumObjectiveEvaluations — 目的関数の評価回数

正の整数

このプロパティは読み取り専用です。

目的関数の評価回数。正の整数として指定されます。これには、事後モデルを形成するための初期評価と最適化反復時の評価が含まれます。

データ型: double

TotalElapsedTime — 秒単位の最適化の合計経過時間

正のスカラー

このプロパティは読み取り専用です。

秒単位の最適化の合計経過時間。正のスカラーとして指定されます。

データ型: double

NextPoint — 最適化継続時の次の評価点

1 行 D 列のテーブル

このプロパティは読み取り専用です。

最適化継続時の次の評価点。1 行 D 列のテーブルとして指定されます。D は変数の個数です。

データ型: table

トレースのプロパティ

XTrace — 目的関数が評価された点

T 行 D 列のテーブル

このプロパティは読み取り専用です。

目的関数が評価された点。T 行 D 列のテーブルとして指定されます。T は評価点の個数、D は変数の個数です。

データ型: table

ObjectiveTrace — 目的関数の値

長さ T の列ベクトル

このプロパティは読み取り専用です。

目的関数の値。長さ T の列ベクトルとして指定されます。T は評価点の個数です。ObjectiveTrace には目的関数評価の履歴が格納されます。

データ型: double

ObjectiveEvaluationTimeTrace — 目的関数の評価時間

長さ T の列ベクトル

このプロパティは読み取り専用です。

目的関数の評価時間。長さ T の列ベクトルとして指定されます。T は評価点の個数です。目的関数は連結制約を計算するので、ObjectiveEvaluationTimeTrace には連結制約を評価する時間が含まれます。

データ型: double

IterationTimeTrace — 反復時間

長さ T の列ベクトル

このプロパティは読み取り専用です。

反復時間。長さ T の列ベクトルとして指定されます。T は評価点の個数です。IterationTimeTrace には目的関数の評価時間とその他のオーバーヘッドの両方が含まれます。

データ型: double

ConstraintsTrace — 連結制約の値

T 行 K 列の配列

このプロパティは読み取り専用です。

連結制約の値。T 行 K 列の配列として指定されます。T は評価点の個数、K は連結制約の個数です。

データ型: double

ErrorTrace — 誤差指標

入力が -1 または 1 である長さ T の列ベクトル

このプロパティは読み取り専用です。

誤差指標。入力が -1 または 1 である長さ T の列ベクトルとして指定されます。T は評価点の個数です。1 の入力はそれぞれ、XTrace 内の対応する点で目的関数がエラーになったか NaN を返したことを示します。-1 の入力はそれぞれ、目的関数の値が計算されたことを示します。

データ型: double

FeasibilityTrace — 実行可能性の指標

長さ T の論理列ベクトル

このプロパティは読み取り専用です。

実行可能性の指標。長さ T の論理列ベクトルとして指定されます。T は評価点の個数です。1 の入力はそれぞれ、XTrace 内の対応する点において最終的な制約モデルが実行可能性を予測することを示します。

データ型: logical

FeasibilityProbabilityTrace — 評価点が実行可能である確率

長さ T の列ベクトル

このプロパティは読み取り専用です。

評価点が実行可能である確率。長さ T の列ベクトルとして指定されます。T は評価点の個数です。この確率は、XTrace 内の対応する点における、誤差制約モデルを含む最終的な制約モデルに由来します。

データ型: double

IndexOfMinimumTrace — 最小実行可能目的関数を与える評価

整数インデックスが格納されている長さ T の列ベクトル

このプロパティは読み取り専用です。

最小実行可能目的関数を与える評価。整数インデックスが格納されている長さ T の列ベクトルとして指定されます。T は評価点の個数です。実行可能性は、誤差制約モデルを含む、各反復で存在した制約モデルに関して決定されます。

データ型: double

ObjectiveMinimumTrace — 観測された目的関数の最小値

長さ T の列ベクトル

このプロパティは読み取り専用です。

観測された目的関数の最小値。長さ T の列ベクトルとして指定されます。T は評価点の個数です。

データ型: double

EstimatedObjectiveMinimumTrace — 推定された目的関数の値

長さ T の列ベクトル

このプロパティは読み取り専用です。

推定された目的関数の値。長さ T の列ベクトルとして指定されます。T は評価点の個数です。各反復で推定される目的関数の値は、その反復における目的モデルを基準に決定されます。各反復で、オブジェクト関数 predictObjective を使用して、探索点内において目的関数値の信頼限界の上限が最小になる点における目的関数の値が推定されます。

データ型: double

UserDataTrace — 目的関数の補助データ

長さ T の cell 配列

このプロパティは読み取り専用です。

目的関数の補助データ。長さ T の cell 配列として指定されます。T は評価点の個数です。cell 配列の各エントリは、目的関数の 3 番目の出力で返される UserData です。

データ型: cell

オブジェクト関数

bestPoint	基準に従った、ベイズ最適化における最良の点
plot	ベイズ最適化の結果のプロット
predictConstraints	一連の点における連結制約違反の予測
predictError	一連の点における誤差値の予測
predictObjective	一連の点における目的関数の予測
predictObjectiveEvaluationTime	一連の点における目的関数の実行回数の予測
resume	ベイズ最適化を再開

例

bayesopt の使用による BayesianOptimization オブジェクトの作成

この例では、bayesopt を使用して交差検証損失を最小化することにより BayesianOptimization オブジェクトを作成する方法を示します。

ionosphere データに対し、KNN 分類器のハイパーパラメーターを最適化、つまり、交差検証損失が最小になる KNN のハイパーパラメーターを求めます。bayesopt で次のハイパーパラメーターに対する最小化を行います。

• 1 ～ 30 の最近傍サイズ。

• 距離関数 'chebychev'、'euclidean' および 'minkowski'

再現性を得るため、乱数シードと分割を設定し、AcquisitionFunctionName オプションを 'expected-improvement-plus' に設定します。反復表示を非表示にするには 'Verbose' を 0 に設定します。このデータを組み込む無名関数として fun を作成して、区分 c と近似データ X および Y を目的関数 fun に渡します。関数のパラメーター化 を参照してください。

load ionosphere
rng default
num = optimizableVariable('n',[1,30],'Type','integer');
dst = optimizableVariable('dst',{'chebychev','euclidean','minkowski'},'Type','categorical');
c = cvpartition(351,'Kfold',5);
fun = @(x)kfoldLoss(fitcknn(X,Y,'CVPartition',c,'NumNeighbors',x.n,...
    'Distance',char(x.dst),'NSMethod','exhaustive'));
results = bayesopt(fun,[num,dst],'Verbose',0,...
    'AcquisitionFunctionName','expected-improvement-plus')

results = 
  BayesianOptimization with properties:

                      ObjectiveFcn: [function_handle]
              VariableDescriptions: [1x2 optimizableVariable]
                           Options: [1x1 struct]
                      MinObjective: 0.1197
                   XAtMinObjective: [1x2 table]
             MinEstimatedObjective: 0.1213
          XAtMinEstimatedObjective: [1x2 table]
           NumObjectiveEvaluations: 30
                  TotalElapsedTime: 54.2340
                         NextPoint: [1x2 table]
                            XTrace: [30x2 table]
                    ObjectiveTrace: [30x1 double]
                  ConstraintsTrace: []
                     UserDataTrace: {30x1 cell}
      ObjectiveEvaluationTimeTrace: [30x1 double]
                IterationTimeTrace: [30x1 double]
                        ErrorTrace: [30x1 double]
                  FeasibilityTrace: [30x1 logical]
       FeasibilityProbabilityTrace: [30x1 double]
               IndexOfMinimumTrace: [30x1 double]
             ObjectiveMinimumTrace: [30x1 double]
    EstimatedObjectiveMinimumTrace: [30x1 double]

近似関数の使用による BayesianOptimization オブジェクトの作成

この例では、SVM 分類器のベイズ最適化を使用して ionosphere データの交差検証損失を最小化する方法を示します。

データを読み込みます。

load ionosphere

'auto' パラメーターを使用して分類を最適化します。

rng default % For reproducibility
Mdl = fitcsvm(X,Y,'OptimizeHyperparameters','auto')

|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstraint|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|    1 | Best   |     0.20513 |       16.71 |     0.20513 |     0.20513 |       64.836 |    0.0015729 |
|    2 | Accept |     0.35897 |      0.2235 |     0.20513 |     0.21471 |     0.036335 |       5.5755 |
|    3 | Best   |     0.13105 |      6.7326 |     0.13105 |     0.14133 |    0.0022147 |    0.0023957 |
|    4 | Accept |     0.35897 |     0.37804 |     0.13105 |     0.13109 |       5.1259 |        98.62 |
|    5 | Best   |     0.12536 |     0.42178 |     0.12536 |     0.12538 |    0.0010035 |     0.022328 |
|    6 | Accept |     0.13105 |     0.37527 |     0.12536 |     0.12624 |    0.0010683 |     0.010111 |
|    7 | Accept |     0.12821 |      1.7277 |     0.12536 |     0.12491 |     0.031723 |      0.01307 |
|    8 | Accept |      0.1339 |     0.80175 |     0.12536 |     0.12608 |    0.0010012 |     0.011355 |
|    9 | Accept |     0.12536 |      0.4526 |     0.12536 |     0.12544 |     0.012092 |      0.05696 |
|   10 | Best   |     0.11966 |     0.27732 |     0.11966 |     0.12011 |    0.0010376 |     0.059708 |
|   11 | Accept |     0.12536 |     0.34987 |     0.11966 |     0.12234 |     0.001031 |     0.048783 |
|   12 | Accept |     0.12251 |     0.47985 |     0.11966 |     0.12234 |     0.002894 |     0.040041 |
|   13 | Accept |      0.1339 |      0.4879 |     0.11966 |     0.12184 |    0.0010238 |        0.076 |
|   14 | Accept |     0.12536 |     0.28026 |     0.11966 |     0.12279 |    0.0068467 |     0.035709 |
|   15 | Accept |     0.12536 |     0.43255 |     0.11966 |     0.12313 |    0.0010197 |     0.037525 |
|   16 | Accept |     0.12536 |     0.35433 |     0.11966 |     0.12349 |    0.0071605 |     0.036043 |
|   17 | Accept |     0.13105 |     0.60936 |     0.11966 |      0.1236 |       990.56 |       5.6232 |
|   18 | Accept |      0.1339 |      14.116 |     0.11966 |     0.12345 |        970.9 |      0.47969 |
|   19 | Accept |      0.1339 |      1.0243 |     0.11966 |     0.12339 |      0.18319 |     0.045737 |
|   20 | Accept |     0.12821 |      1.8868 |     0.11966 |     0.12344 |       956.97 |       2.2507 |
|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstraint|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|   21 | Accept |     0.35897 |     0.51857 |     0.11966 |     0.12347 |    0.0010005 |       43.866 |
|   22 | Accept |     0.12536 |      0.2789 |     0.11966 |     0.12392 |    0.0025992 |     0.036334 |
|   23 | Accept |     0.13675 |     0.21694 |     0.11966 |     0.12394 |       6.7596 |       9.3965 |
|   24 | Accept |     0.12536 |     0.27537 |     0.11966 |     0.12343 |       29.628 |       3.6182 |
|   25 | Accept |      0.1339 |     0.23995 |     0.11966 |     0.12367 |       51.406 |       7.9091 |
|   26 | Accept |     0.12821 |     0.33189 |     0.11966 |     0.12359 |       11.529 |       4.9093 |
|   27 | Accept |     0.13105 |     0.54751 |     0.11966 |      0.1236 |       131.76 |       3.7004 |
|   28 | Accept |     0.13105 |     0.33307 |     0.11966 |     0.12366 |       13.942 |       1.2839 |
|   29 | Accept |      0.1339 |     0.52995 |     0.11966 |     0.12372 |        2.575 |      0.27561 |
|   30 | Accept |     0.13105 |      1.3001 |     0.11966 |     0.12374 |       16.855 |      0.37491 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 98.7917 seconds
Total objective function evaluation time: 52.6933

Best observed feasible point:
    BoxConstraint    KernelScale
    _____________    ___________

      0.0010376       0.059708  

Observed objective function value = 0.11966
Estimated objective function value = 0.12568
Function evaluation time = 0.27732

Best estimated feasible point (according to models):
    BoxConstraint    KernelScale
    _____________    ___________

      0.001031        0.048783  

Estimated objective function value = 0.12374
Estimated function evaluation time = 0.35231

Mdl = 
  ClassificationSVM
                         ResponseName: 'Y'
                CategoricalPredictors: []
                           ClassNames: {'b'  'g'}
                       ScoreTransform: 'none'
                      NumObservations: 351
    HyperparameterOptimizationResults: [1x1 BayesianOptimization]
                                Alpha: [114x1 double]
                                 Bias: -2.9525
                     KernelParameters: [1x1 struct]
                       BoxConstraints: [351x1 double]
                      ConvergenceInfo: [1x1 struct]
                      IsSupportVector: [351x1 logical]
                               Solver: 'SMO'


  Properties, Methods

このあてはめでは、既定の 5 分割交差検証について損失が約 12% になりました。

返されたモデルの HyperparameterOptimizationResults プロパティで返された BayesianOptimization オブジェクトを確認します。

disp(Mdl.HyperparameterOptimizationResults)

  BayesianOptimization with properties:

                      ObjectiveFcn: @createObjFcn/inMemoryObjFcn
              VariableDescriptions: [5x1 optimizableVariable]
                           Options: [1x1 struct]
                      MinObjective: 0.1197
                   XAtMinObjective: [1x2 table]
             MinEstimatedObjective: 0.1237
          XAtMinEstimatedObjective: [1x2 table]
           NumObjectiveEvaluations: 30
                  TotalElapsedTime: 98.7917
                         NextPoint: [1x2 table]
                            XTrace: [30x2 table]
                    ObjectiveTrace: [30x1 double]
                  ConstraintsTrace: []
                     UserDataTrace: {30x1 cell}
      ObjectiveEvaluationTimeTrace: [30x1 double]
                IterationTimeTrace: [30x1 double]
                        ErrorTrace: [30x1 double]
                  FeasibilityTrace: [30x1 logical]
       FeasibilityProbabilityTrace: [30x1 double]
               IndexOfMinimumTrace: [30x1 double]
             ObjectiveMinimumTrace: [30x1 double]
    EstimatedObjectiveMinimumTrace: [30x1 double]

バージョン履歴

R2016b で導入

参考

bayesopt

トピック

• ベイズ最適化のワークフロー

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい