fitrkernel
ランダムな特徴量拡張を使用してガウス カーネル回帰モデルを当てはめる
構文
説明
fitrkernel は、非線形回帰用のガウス カーネル回帰モデルの学習または交差検証を行います。fitrkernel は、大規模な学習セットが含まれているビッグ データ事例に使用する方が現実的ですが、メモリに収まる小規模なデータ セットにも適用できます。
fitrkernel は、低次元空間のデータを高次元空間にマッピングしてから、正則化された目的関数を最小化することによって高次元空間で線形モデルを当てはめます。高次元空間で線形モデルを取得することは、低次元空間におけるモデルへのガウス カーネルの適用と等価です。使用可能な線形回帰モデルには、正則化されたサポート ベクター マシン (SVM) と最小二乗回帰モデルがあります。
インメモリ データに対して非線形 SVM 回帰モデルに学習をさせる方法については、fitrsvm を参照してください。
Mdl = fitrkernel(Tbl,ResponseVarName)Tbl に含まれる予測子変数と Tbl.ResponseVarName 内の応答値を使用して学習させたカーネル回帰モデル Mdl を返します。
Mdl = fitrkernel(___,Name,Value)
[ は、Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(___)OptimizeHyperparameters が指定されている場合に、ハイパーパラメーターの最適化の結果も返します。
[ は、名前と値の引数 Mdl,FitInfo,AggregateOptimizationResults] = fitrkernel(___)OptimizeHyperparameters と HyperparameterOptimizationOptions が指定されている場合に、ハイパーパラメーターの最適化の結果が格納された AggregateOptimizationResults も返します。HyperparameterOptimizationOptions の ConstraintType オプションと ConstraintBounds オプションも指定する必要があります。この構文を使用すると、交差検証損失ではなくコンパクトなモデル サイズに基づいて最適化したり、オプションは同じでも制約範囲は異なる複数の一連の最適化問題を実行したりできます。
例
SVM を使用して、tall 配列についてカーネル回帰モデルに学習をさせます。
tall 配列に対する計算を実行する場合、MATLAB® は並列プール (Parallel Computing Toolbox™ がある場合は既定) またはローカルの MATLAB セッションを使用します。Parallel Computing Toolbox がある場合にローカルの MATLAB セッションを使用して例を実行するには、関数 mapreducer を使用してグローバルな実行環境を変更します。
mapreducer(0)
データがあるフォルダーの場所を参照するデータストアを作成します。データは、単一のファイル、ファイルの集まり、またはフォルダー全体のどれに含まれていてもかまいません。datastore によって NaN 値に置き換えられるようにするため、'NA' 値を欠損データとして扱います。使用する変数のサブセットを選択します。データストアの先頭に tall table を作成します。
varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
'SelectedVariableNames',varnames);
t = tall(ds);予測子変数 (X) として DepTime と ArrTime を、応答変数 (Y) として ActualElapsedTime を指定します。ArrTime が DepTime より遅い観測値を選択します。
daytime = t.ArrTime>t.DepTime; Y = t.ActualElapsedTime(daytime); % Response data X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data
予測子変数を標準化します。
Z = zscore(X); % Standardize the data標準化された予測子を使用して、既定のガウス カーネル回帰モデルに学習をさせます。当てはめの要約を抽出して、最適化アルゴリズムによりモデルがどの程度適切にデータに当てはめられたかを判断します。
[Mdl,FitInfo] = fitrkernel(Z,Y)
Found 6 chunks. |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | INIT | 0 / 1 | 4.307833e+01 | 9.925486e-02 | NaN | | LBFGS | 0 / 2 | 2.782790e+01 | 7.202403e-03 | 9.891473e-01 | | LBFGS | 1 / 3 | 2.781351e+01 | 1.806211e-02 | 3.220672e-03 | | LBFGS | 2 / 4 | 2.777773e+01 | 2.727737e-02 | 9.309939e-03 | | LBFGS | 3 / 5 | 2.768591e+01 | 2.951422e-02 | 2.833343e-02 | | LBFGS | 4 / 6 | 2.755857e+01 | 5.124144e-02 | 7.935278e-02 | | LBFGS | 5 / 7 | 2.738896e+01 | 3.089571e-02 | 4.644920e-02 | | LBFGS | 6 / 8 | 2.716704e+01 | 2.552696e-02 | 8.596406e-02 | | LBFGS | 7 / 9 | 2.696409e+01 | 3.088621e-02 | 1.263589e-01 | | LBFGS | 8 / 10 | 2.676203e+01 | 2.021303e-02 | 1.533927e-01 | | LBFGS | 9 / 11 | 2.660322e+01 | 1.221361e-02 | 1.351968e-01 | | LBFGS | 10 / 12 | 2.645504e+01 | 1.486501e-02 | 1.175476e-01 | | LBFGS | 11 / 13 | 2.631323e+01 | 1.772835e-02 | 1.161909e-01 | | LBFGS | 12 / 14 | 2.625264e+01 | 5.837906e-02 | 1.422851e-01 | | LBFGS | 13 / 15 | 2.619281e+01 | 1.294441e-02 | 2.966283e-02 | | LBFGS | 14 / 16 | 2.618220e+01 | 3.791806e-03 | 9.051274e-03 | | LBFGS | 15 / 17 | 2.617989e+01 | 3.689255e-03 | 6.364132e-03 | | LBFGS | 16 / 18 | 2.617426e+01 | 4.200232e-03 | 1.213026e-02 | | LBFGS | 17 / 19 | 2.615914e+01 | 7.339928e-03 | 2.803348e-02 | | LBFGS | 18 / 20 | 2.620704e+01 | 2.298098e-02 | 1.749830e-01 | |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | LBFGS | 18 / 21 | 2.615554e+01 | 1.164689e-02 | 8.580878e-02 | | LBFGS | 19 / 22 | 2.614367e+01 | 3.395507e-03 | 3.938314e-02 | | LBFGS | 20 / 23 | 2.614090e+01 | 2.349246e-03 | 1.495049e-02 | |========================================================================|
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 64
KernelScale: 1
Lambda: 8.5385e-06
BoxConstraint: 1
Epsilon: 5.9303
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-tall'
LossFunction: 'epsiloninsensitive'
Lambda: 8.5385e-06
BetaTolerance: 1.0000e-03
GradientTolerance: 1.0000e-05
ObjectiveValue: 26.1409
GradientMagnitude: 0.0023
RelativeChangeInBeta: 0.0150
FitTime: 13.7601
History: [1×1 struct]
Mdl は RegressionKernel モデルです。回帰誤差を調べるには、Mdl と学習データまたは新しいデータを関数 loss に渡すことができます。または、Mdl と新しい予測子データを関数 predict に渡して、新しい観測値の応答を予測することができます。また、Mdl と学習データを関数 resume に渡して学習を続行することもできます。
FitInfo は、最適化情報が格納されている構造体配列です。最適化終了時の結果が満足できるものであるかどうかを判断するには、FitInfo を使用します。
精度を向上させるため、fitrkernel の名前と値のペアの引数を使用して、最適化反復の最大回数 ('IterationLimit') を増やしたり、許容誤差の値 ('BetaTolerance' および 'GradientTolerance') を小さくしたりすることができます。このようにすると、FitInfo の ObjectiveValue や RelativeChangeInBeta などの尺度が向上します。名前と値のペアの引数 'OptimizeHyperparameters' を使用してモデル パラメーターを最適化することもできます。
carbig データ セットを読み込みます。
load carbig予測子変数 (X) と応答変数 (Y) を指定します。
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
配列 X および Y から、それぞれの配列で NaN 値が含まれている行を削除します。NaN 値が含まれている行を削除してからデータを fitrkernel に渡すと、学習が高速化され、メモリ使用量が少なくなります。
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); 5 分割の交差検証を使用してカーネル回帰モデルを交差検証します。予測子変数を標準化します。
Mdl = fitrkernel(X,Y,'Kfold',5,'Standardize',true)
Mdl =
RegressionPartitionedKernel
CrossValidatedModel: 'Kernel'
ResponseName: 'Y'
NumObservations: 392
KFold: 5
Partition: [1×1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
numel(Mdl.Trained)
ans = 5
Mdl は RegressionPartitionedKernel モデルです。fitrkernel は 5 分割交差検証を実施するので、学習分割 (分割内) 観測値に対して学習をさせる 5 個の RegressionKernel モデルが Mdl に格納されます。
各分割の交差検証損失 (平均二乗誤差) を調べます。
kfoldLoss(Mdl,'mode','individual')
ans = 5×1
13.1983
14.2686
23.9162
21.0763
24.3975
名前と値の引数 OptimizeHyperparameters を使用して、自動的にハイパーパラメーターを最適化します。
carbig データ セットを読み込みます。
load carbig予測子変数 (X) と応答変数 (Y) を指定します。
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
配列 X および Y から、それぞれの配列で NaN 値が含まれている行を削除します。NaN 値が含まれている行を削除してからデータを fitrkernel に渡すと、学習が高速化され、メモリ使用量が少なくなります。
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); 自動的なハイパーパラメーター最適化を使用して、5 分割交差検証損失を最小化するハイパーパラメーターを求めます。名前と値の引数 KernelScale、Lambda、Epsilon、および Standardize の最適な値を fitrkernel で求めるため、OptimizeHyperparameters として 'auto' を指定します。再現性を得るために、乱数シードを設定し、'expected-improvement-plus' の獲得関数を使用します。
rng('default') [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(X,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|===================================================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | Standardize |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |
|===================================================================================================================================|
| 1 | Best | 4.1521 | 0.28206 | 4.1521 | 4.1521 | 11.415 | 0.0017304 | 615.77 | true |
| 2 | Best | 4.1489 | 0.12707 | 4.1489 | 4.1503 | 509.07 | 0.0064454 | 0.048411 | true |
| 3 | Accept | 5.251 | 0.9921 | 4.1489 | 4.1489 | 0.0015621 | 1.8257e-05 | 0.051954 | true |
| 4 | Accept | 4.3329 | 0.11169 | 4.1489 | 4.1489 | 0.0053278 | 2.37 | 17.883 | false |
| 5 | Accept | 4.2414 | 0.11005 | 4.1489 | 4.1489 | 0.004474 | 0.13531 | 14.426 | true |
| 6 | Best | 4.148 | 0.09356 | 4.148 | 4.148 | 0.43562 | 2.5339 | 0.059928 | true |
| 7 | Accept | 4.1521 | 0.069735 | 4.148 | 4.148 | 3.2193 | 0.012683 | 813.56 | false |
| 8 | Best | 3.8438 | 0.096509 | 3.8438 | 3.8439 | 5.7821 | 0.065897 | 2.056 | true |
| 9 | Accept | 4.1305 | 0.082551 | 3.8438 | 3.8439 | 110.96 | 0.42454 | 7.6606 | true |
| 10 | Best | 3.7951 | 0.091029 | 3.7951 | 3.7954 | 1.1595 | 0.054292 | 0.012493 | true |
| 11 | Accept | 4.2311 | 0.40781 | 3.7951 | 3.7954 | 0.0011423 | 0.00015862 | 8.6125 | false |
| 12 | Best | 2.8871 | 0.7843 | 2.8871 | 2.8872 | 185.22 | 2.1981e-05 | 1.0401 | false |
| 13 | Accept | 4.1521 | 0.077822 | 2.8871 | 3.0058 | 993.92 | 2.6036e-06 | 58.773 | false |
| 14 | Best | 2.8648 | 0.76212 | 2.8648 | 2.8765 | 196.57 | 2.2026e-05 | 1.081 | false |
| 15 | Accept | 4.2977 | 0.17285 | 2.8648 | 2.8668 | 0.017949 | 1.5685e-05 | 15.01 | false |
| 16 | Best | 2.8016 | 0.48787 | 2.8016 | 2.8017 | 786 | 3.4462e-06 | 1.6117 | false |
| 17 | Accept | 2.9032 | 0.23285 | 2.8016 | 2.8026 | 974.16 | 0.00019486 | 1.6661 | false |
| 18 | Accept | 2.9051 | 0.92356 | 2.8016 | 2.8018 | 288.21 | 2.6218e-06 | 2.0933 | false |
| 19 | Accept | 3.4438 | 1.3608 | 2.8016 | 2.803 | 56.999 | 2.885e-06 | 1.3903 | false |
| 20 | Accept | 2.8436 | 0.97557 | 2.8016 | 2.8032 | 533.99 | 2.7293e-06 | 0.6719 | false |
|===================================================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | Standardize |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |
|===================================================================================================================================|
| 21 | Accept | 2.8301 | 1.0442 | 2.8016 | 2.8024 | 411.02 | 3.4347e-06 | 0.98949 | false |
| 22 | Accept | 2.8233 | 0.48395 | 2.8016 | 2.8043 | 455.25 | 5.2936e-05 | 1.1189 | false |
| 23 | Accept | 4.1168 | 0.15656 | 2.8016 | 2.802 | 237.02 | 0.85493 | 0.42894 | false |
| 24 | Best | 2.7876 | 0.59307 | 2.7876 | 2.7877 | 495.51 | 1.8049e-05 | 1.9006 | false |
| 25 | Accept | 2.8197 | 0.45478 | 2.7876 | 2.7877 | 927.29 | 1.128e-05 | 1.1902 | false |
| 26 | Accept | 2.8361 | 0.42122 | 2.7876 | 2.7882 | 354.44 | 6.1939e-05 | 2.2591 | false |
| 27 | Accept | 2.7985 | 0.59173 | 2.7876 | 2.7906 | 506.54 | 1.4142e-05 | 1.3659 | false |
| 28 | Accept | 2.8163 | 0.41313 | 2.7876 | 2.7905 | 829.6 | 1.0965e-05 | 2.7415 | false |
| 29 | Accept | 2.8469 | 0.68391 | 2.7876 | 2.7902 | 729.48 | 3.4914e-06 | 0.039087 | false |
| 30 | Accept | 2.882 | 1.267 | 2.7876 | 2.7902 | 255.25 | 3.2869e-06 | 0.059794 | false |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 22.5767 seconds
Total objective function evaluation time: 14.3514
Best observed feasible point:
KernelScale Lambda Epsilon Standardize
___________ __________ _______ ___________
495.51 1.8049e-05 1.9006 false
Observed objective function value = 2.7876
Estimated objective function value = 2.7902
Function evaluation time = 0.59307
Best estimated feasible point (according to models):
KernelScale Lambda Epsilon Standardize
___________ __________ _______ ___________
495.51 1.8049e-05 1.9006 false
Estimated objective function value = 2.7902
Estimated function evaluation time = 0.5625
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 256
KernelScale: 495.5140
Lambda: 1.8049e-05
BoxConstraint: 141.3376
Epsilon: 1.9006
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-fast'
LossFunction: 'epsiloninsensitive'
Lambda: 1.8049e-05
BetaTolerance: 1.0000e-04
GradientTolerance: 1.0000e-06
ObjectiveValue: 1.3382
GradientMagnitude: 0.0051
RelativeChangeInBeta: 9.4332e-05
FitTime: 0.0697
History: []
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [6×1 optimizableVariable]
Options: [1×1 struct]
MinObjective: 2.7876
XAtMinObjective: [1×4 table]
MinEstimatedObjective: 2.7902
XAtMinEstimatedObjective: [1×4 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 22.5767
NextPoint: [1×4 table]
XTrace: [30×4 table]
ObjectiveTrace: [30×1 double]
ConstraintsTrace: []
UserDataTrace: {30×1 cell}
ObjectiveEvaluationTimeTrace: [30×1 double]
IterationTimeTrace: [30×1 double]
ErrorTrace: [30×1 double]
FeasibilityTrace: [30×1 logical]
FeasibilityProbabilityTrace: [30×1 double]
IndexOfMinimumTrace: [30×1 double]
ObjectiveMinimumTrace: [30×1 double]
EstimatedObjectiveMinimumTrace: [30×1 double]
ビッグ データの場合、最適化手順に時間がかかる可能性があります。最適化手順を実行するにはデータ セットが大きすぎる場合、データの一部だけを使用してパラメーターの最適化を試すことができます。関数 datasample を使用し、'Replace','false' を指定して、データを非復元抽出します。
入力引数
名前と値の引数
出力引数
詳細
ヒント
モデルに学習させる前に予測子を標準化すると役立つことがあります。
関数
normalizeを使用して、学習データを標準化し、テスト データを学習データと同じスケールになるようにスケーリングできます。あるいは、名前と値の引数
Standardizeを使用して学習前に数値予測子を標準化します。返されるモデルのMuプロパティとSigmaプロパティに、予測子の平均と標準偏差がそれぞれ含まれます。 (R2023b 以降)
モデルに学習をさせた後で、新しいデータについて応答を予測する C/C++ コードを生成できます。C/C++ コードの生成には MATLAB Coder™ が必要です。詳細については、コード生成の紹介を参照してください。
アルゴリズム
fitrkernel は、メモリ制限 Broyden-Fletcher-Goldfarb-Shanno (LBFGS) ソルバーとリッジ (L2) 正則化を使用して、正則化された目的関数を最小化します。学習に使用した LBFGS ソルバーのタイプを調べるには、コマンド ウィンドウで FitInfo.Solver と入力します。
'LBFGS-fast'— LBFGS ソルバー。'LBFGS-blockwise'— ブロック単位方式を使用する LBFGS ソルバー。変換後の予測子データを保持するためにfitrkernelで必要となるメモリがBlockSizeの値より多い場合、この関数はブロック単位方式を使用します。'LBFGS-tall'— ブロック単位方式の tall 配列用 LBFGS ソルバー。
fitrkernel がブロック単位方式を使用する場合、各反復で損失と勾配の計算をデータのさまざまな部分に分散させることにより LBFGS が実装されます。また、fitrkernel は、データの一部に対してローカルにモデルを当てはめ、平均化で係数を結合することにより、線形係数およびバイアス項の初期推定値を改善します。'Verbose',1 が指定された場合、fitrkernel は各データ通過についての診断情報を表示し、情報を FitInfo の History フィールドに格納します。
fitrkernel がブロック単位方式を使用しない場合、初期推定値はゼロになります。'Verbose',1 が指定された場合、fitrkernel は各反復についての診断情報を表示し、情報を FitInfo の History フィールドに格納します。
参照
[1] Rahimi, A., and B. Recht. “Random Features for Large-Scale Kernel Machines.” Advances in Neural Information Processing Systems. Vol. 20, 2008, pp. 1177–1184.
[2] Le, Q., T. Sarlós, and A. Smola. “Fastfood — Approximating Kernel Expansions in Loglinear Time.” Proceedings of the 30th International Conference on Machine Learning. Vol. 28, No. 3, 2013, pp. 244–252.
[3] Huang, P. S., H. Avron, T. N. Sainath, V. Sindhwani, and B. Ramabhadran. “Kernel methods match Deep Neural Networks on TIMIT.” 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. 2014, pp. 205–209.
拡張機能
バージョン履歴
R2018a で導入参考
bayesopt | bestPoint | fitrlinear | fitrsvm | loss | predict | RegressionKernel | resume | RegressionPartitionedKernel
