最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。
fitrlinear
高次元データに対する線形回帰モデルのあてはめ
構文
説明
fitrlinear は、高次元の非スパースまたはスパース予測子データを使用して効率的に線形回帰モデルに学習をさせます。使用可能な線形回帰モデルには、正則化されたサポート ベクター マシン (SVM) と最小二乗回帰法があります。fitrlinear は、計算時間を短縮する手法 (確率的勾配降下法など) を使用して目的関数を最小化します。
多数の予測子変数が含まれている高次元データセットに対する計算時間を短縮するには、fitrlinear を使用して線形回帰モデルに学習をさせます。低～中次元の予測子データセットについては、低次元データの代替方法を参照してください。
Mdl = fitrlinear(X,Y,Name,Value)Name,Value ペア引数で指定された追加オプションを使用して、学習済みの線形回帰モデルを返します。たとえば、最小二乗回帰の実装、交差検証、正則化のタイプを指定できます。Name,Value ペア引数 Kfold を使用して交差検証を実行することをお勧めします。交差検証の結果により、モデルがどの程度一般化を行うかを判断します。
[ は、名前と値のペア Mdl,FitInfo,HyperparameterOptimizationResults] = fitrlinear(___)OptimizeHyperparameters が渡された場合に、ハイパーパラメーターの最適化の詳細も返します。
例
線形回帰モデルの学習
SVM、双対 SGD およびリッジ正則化を使用して線形回帰モデルに学習をさせます。
次のモデルにより、10000 個の観測値をシミュレートします。
は、10% の要素が非ゼロ標準正規である 10000 行 1000 列のスパース行列です。
e は、平均が 0、標準偏差が 0.3 のランダムな正規誤差です。
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);線形回帰モデルに学習をさせます。既定の設定では、fitrlinear はリッジ ペナルティがあるサポート ベクター マシンを使用し、SVM 用の双対 SGD を使用して最適化を行います。近似の要約を抽出して、最適化アルゴリズムによるモデルがどの程度データにあてはまるかを判断します。
[Mdl,FitInfo] = fitrlinear(X,Y)
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0056
Lambda: 1.0000e-04
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 1.0000e-04
Objective: 0.2725
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 100000
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.4907
BetaTolerance: 1.0000e-04
DeltaGradient: 1.5816
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.6345
Solver: {'dual'}
Mdl は RegressionLinear モデルです。Mdl と学習データまたは新しいデータを loss に渡して、標本内二乗平均誤差を調べることができます。または、Mdl と新しい予測子データを predict に渡して、新しい観測値の応答を予測することができます。
FitInfo は、重要な情報として終了ステータス (TerminationStatus) とソルバーによるモデルのデータへのあてはめにかかった時間 (FitTime) が含まれている構造体配列です。FitInfo を使用して、最適化終了時の結果が満足できるものであるかどうかを判断することをお勧めします。この場合、fitrlinear は最大反復回数に達しました。モデルに再学習をさせることもできますが、学習時間は短いので、データを通す回数を増やしてください。または、LBFGS など別のソルバーを試してください。
交差検証の使用による適切な LASSO ペナルティの特定
最小二乗を使用する線形回帰モデルに適した LASSO ペナルティの強度を決定するため、5 分割の交差検証を実装します。
次のモデルにより、10000 個の観測値をシミュレートします。
は、10% の要素が非ゼロ標準正規である 10000 行 1000 列のスパース行列です。
e は、平均が 0、標準偏差が 0.3 のランダムな正規誤差です。
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);～ の範囲で対数間隔で配置された 15 個の正則化強度を作成します。
Lambda = logspace(-5,-1,15);
モデルを交差検証します。実行速度を向上させるため、予測子データを転置し、観測値が列単位であることを指定します。SpaRSA を使用して目的関数を最適化します。
X = X'; CVMdl = fitrlinear(X,Y,'ObservationsIn','columns','KFold',5,'Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl は RegressionPartitionedLinear モデルです。fitrlinear は 5 分割の交差検証を実装するので、各分割について学習させる 5 つの RegressionLinear モデルが CVMdl に格納されます。
1 番目の学習済み線形回帰モデルを表示します。
Mdl1 = CVMdl.Trained{1}Mdl1 =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x15 double]
Bias: [1x15 double]
Lambda: [1x15 double]
Learner: 'leastsquares'
Properties, Methods
Mdl1 は RegressionLinear モデル オブジェクトです。fitrlinear は最初の 4 つの分割に対して学習を行うことにより Mdl1 を構築しました。Lambda は正則化強度のシーケンスなので、Mdl1 はそれぞれが Lambda の各正則化強度に対応する 15 個のモデルであると考えることができます。
交差検証された MSE を推定します。
mse = kfoldLoss(CVMdl);
Lambda の値が大きくなると、予測子変数がスパースになります。これは回帰モデルの品質として優れています。データセット全体を使用し、モデルの交差検証を行ったときと同じオプションを指定して、各正則化強度について線形回帰モデルに学習をさせます。モデルごとに非ゼロの係数を特定します。
Mdl = fitrlinear(X,Y,'ObservationsIn','columns','Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numNZCoeff = sum(Mdl.Beta~=0);
同じ図に、各正則化強度についての交差検証された MSE と非ゼロ係数の頻度をプロットします。すべての変数を対数スケールでプロットします。
figure [h,hL1,hL2] = plotyy(log10(Lambda),log10(mse),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} MSE') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') hold off
予測子変数のスパース性と MSE の低さのバランスがとれている正則化強度 (Lambda(10) など) のインデックスを選択します。
idxFinal = 10;
最小の MSE に対応するモデルを抽出します。
MdlFinal = selectModels(Mdl,idxFinal)
MdlFinal =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0050
Lambda: 0.0037
Learner: 'leastsquares'
Properties, Methods
idxNZCoeff = find(MdlFinal.Beta~=0)
idxNZCoeff = 2×1
100
200
EstCoeff = Mdl.Beta(idxNZCoeff)
EstCoeff = 2×1
1.0051
1.9965
MdlFinal は、1 つの正則化強度がある RegressionLinear モデルです。非ゼロ係数 EstCoeff は、データをシミュレートした係数に近くなっています。
線形回帰の最適化
この例では、fitrlinear を使用して自動的にハイパーパラメーターを最適化する方法を示します。この例では、人為的な (シミュレートされた) データをモデルに対して使用します。
は、10% の要素が非ゼロ標準正規である 10000 行 1000 列のスパース行列です。
e は、平均が 0、標準偏差が 0.3 のランダムな正規誤差です。
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);自動的なハイパーパラメーター最適化を使用して、5 分割交差検証損失を最小化するハイパーパラメーターを求めます。
再現性を得るために、'expected-improvement-plus' の獲得関数を使用します。
hyperopts = struct('AcquisitionFunctionName','expected-improvement-plus'); [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrlinear(X,Y,... 'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',hyperopts)
|=====================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 1 | Best | 0.16029 | 0.41774 | 0.16029 | 0.16029 | 2.4206e-09 | svm |
| 2 | Best | 0.14496 | 0.32058 | 0.14496 | 0.14601 | 0.001807 | svm |
| 3 | Best | 0.13879 | 0.28024 | 0.13879 | 0.14065 | 2.4681e-09 | leastsquares |
| 4 | Best | 0.115 | 0.27266 | 0.115 | 0.11501 | 0.021027 | leastsquares |
| 5 | Accept | 0.44352 | 0.27558 | 0.115 | 0.1159 | 4.6795 | leastsquares |
| 6 | Best | 0.11025 | 0.27333 | 0.11025 | 0.11024 | 0.010671 | leastsquares |
| 7 | Accept | 0.13222 | 0.27212 | 0.11025 | 0.11024 | 8.6067e-08 | leastsquares |
| 8 | Accept | 0.13262 | 0.26992 | 0.11025 | 0.11023 | 8.5109e-05 | leastsquares |
| 9 | Accept | 0.13543 | 0.2732 | 0.11025 | 0.11021 | 2.7562e-06 | leastsquares |
| 10 | Accept | 0.15751 | 0.34766 | 0.11025 | 0.11022 | 5.0559e-06 | svm |
| 11 | Accept | 0.40673 | 0.32948 | 0.11025 | 0.1102 | 0.52074 | svm |
| 12 | Accept | 0.16057 | 0.33499 | 0.11025 | 0.1102 | 0.00014292 | svm |
| 13 | Accept | 0.16105 | 0.33584 | 0.11025 | 0.11018 | 1.0079e-07 | svm |
| 14 | Accept | 0.12763 | 0.27263 | 0.11025 | 0.11019 | 0.0012085 | leastsquares |
| 15 | Accept | 0.13504 | 0.27125 | 0.11025 | 0.11019 | 1.3981e-08 | leastsquares |
| 16 | Accept | 0.11041 | 0.27367 | 0.11025 | 0.11026 | 0.0093968 | leastsquares |
| 17 | Best | 0.10954 | 0.27352 | 0.10954 | 0.11003 | 0.010393 | leastsquares |
| 18 | Accept | 0.10998 | 0.2712 | 0.10954 | 0.11002 | 0.010254 | leastsquares |
| 19 | Accept | 0.45314 | 0.27275 | 0.10954 | 0.11001 | 9.9932 | svm |
| 20 | Best | 0.10753 | 0.33512 | 0.10753 | 0.10759 | 0.022576 | svm |
|=====================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Best | 0.10737 | 0.33442 | 0.10737 | 0.10728 | 0.010171 | svm |
| 22 | Accept | 0.13448 | 0.28528 | 0.10737 | 0.10727 | 1.5344e-05 | leastsquares |
| 23 | Best | 0.10645 | 0.33892 | 0.10645 | 0.10565 | 0.015495 | svm |
| 24 | Accept | 0.13598 | 0.27017 | 0.10645 | 0.10559 | 4.5984e-07 | leastsquares |
| 25 | Accept | 0.15962 | 0.3451 | 0.10645 | 0.10556 | 1.4302e-08 | svm |
| 26 | Accept | 0.10689 | 0.33135 | 0.10645 | 0.10616 | 0.015391 | svm |
| 27 | Accept | 0.13748 | 0.26642 | 0.10645 | 0.10614 | 1.001e-09 | leastsquares |
| 28 | Accept | 0.10692 | 0.33264 | 0.10645 | 0.10639 | 0.015761 | svm |
| 29 | Accept | 0.10681 | 0.32913 | 0.10645 | 0.10649 | 0.015777 | svm |
| 30 | Accept | 0.34314 | 0.26817 | 0.10645 | 0.10651 | 0.39671 | leastsquares |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 29.0513 seconds.
Total objective function evaluation time: 9.0751
Best observed feasible point:
Lambda Learner
__________________ _______
0.0154950548329524 svm
Observed objective function value = 0.10645
Estimated objective function value = 0.10651
Function evaluation time = 0.33892
Best estimated feasible point (according to models):
Lambda Learner
_________________ _______
0.015777492256035 svm
Estimated objective function value = 0.10651
Estimated function evaluation time = 0.33362
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000×1 double]
Bias: -0.001764448684672
Lambda: 0.015777492256035
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 0.015777492256035
Objective: 0.230889727364096
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 99989
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.064063563056079
BetaTolerance: 1.000000000000000e-04
DeltaGradient: 1.169701423362251
DeltaGradientTolerance: 0.100000000000000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000×1 double]
History: []
FitTime: 0.050041900000000
Solver: {'dual'}
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [3×1 optimizableVariable]
Options: [1×1 struct]
MinObjective: 0.106451249084752
XAtMinObjective: [1×2 table]
MinEstimatedObjective: 0.106505444701403
XAtMinEstimatedObjective: [1×2 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 29.051285600000000
NextPoint: [1×2 table]
XTrace: [30×2 table]
ObjectiveTrace: [30×1 double]
ConstraintsTrace: []
UserDataTrace: {30×1 cell}
ObjectiveEvaluationTimeTrace: [30×1 double]
IterationTimeTrace: [30×1 double]
ErrorTrace: [30×1 double]
FeasibilityTrace: [30×1 logical]
FeasibilityProbabilityTrace: [30×1 double]
IndexOfMinimumTrace: [30×1 double]
ObjectiveMinimumTrace: [30×1 double]
EstimatedObjectiveMinimumTrace: [30×1 double]
この最適化手法は交差検証の使用による適切な LASSO ペナルティの特定で示されているものよりシンプルですが、モデルの複雑度と交差検証損失との間のトレードオフはできません。
入力引数
出力引数
詳細
ヒント
観測値が列に対応するように予測子行列を配置して
'ObservationsIn','columns'を指定することをお勧めします。このようにすると、最適化実行時間が大幅に短縮される可能性があります。Xが高次元でRegularizationが'ridge'の場合に最適化の精度を向上させるには、次のSolverの組み合わせのいずれかを設定します。'sgd''asgd''dual'(Learnerが'svm'の場合){'sgd','lbfgs'}{'asgd','lbfgs'}{'dual','lbfgs'}(Learnerが'svm'の場合)
他の組み合わせでは、最適化の精度が低下する可能性があります。
Xが中～低次元でRegularizationが'ridge'の場合に最適化の精度を向上させるには、Solverを'bfgs'に設定します。Regularizationが'lasso'の場合、次のSolverの組み合わせのいずれかを設定します。'sgd''asgd''sparsa'{'sgd','sparsa'}{'asgd','sparsa'}
SGD と ASGD のいずれかを選択する場合、以下を考慮します。
SGD は反復あたりの時間が短くなりますが、収束するまでに必要な反復回数が多くなります。
ASGD は収束するまでに必要な反復回数が少なくなりますが、反復あたりの時間が長くなります。
Xに含まれている観測値の数が少なく、予測子変数の数が多い場合、次のようにします。'PostFitBias',trueを指定します。ソルバーが SGD または ASGD の場合、
PassLimitを 1 より大きい正の整数 (5 や 10 など) に設定します。このように設定すると、多くの場合に精度が向上します。
ソルバーが SGD または ASGD の場合、
BatchSizeは収束速度に影響を与えます。BatchSizeが小さすぎる場合、fitrlinearが最小値を計算するための反復回数は多くなりますが、反復ごとの勾配の計算時間は短くなります。BatchSizeが大きすぎる場合、fitrlinearが最小値を計算するための反復回数は少なくなりますが、反復ごとの勾配の計算時間は長くなります。
学習率 (
LearnRateを参照) が大きいと、最小値への収束が高速になりますが、発散 (最小値の限度を超える状態) の可能性があります。学習率が小さいと最小値への収束が保証されますが、終了までに時間がかかる可能性があります。LASSO ペナルティを使用する場合は、さまざまな値の
TruncationPeriodを試してください。たとえば、TruncationPeriodを1、10に設定してから100に設定します。効率のため、
fitrlinearは予測子データを標準化しません。Xを標準化するには、次のように入力します。X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
このコードでは、予測子が行、観測値が列に対応するように
Xが配置されている必要があります。また、メモリを節約するため、このコードは元の予測子データを標準化されたデータに置き換えます。
モデルに学習をさせた後で、新しいデータについて応答を予測する C/C++ コードを生成できます。C/C++ コードの生成には MATLAB Coder™ が必要です。詳細については、コード生成の紹介を参照してください。
アルゴリズム
ValidationDataを指定した場合、目的関数の最適化時に以下が行われます。fitrlinearは、現在のモデルを使用してValidationDataの検定損失を定期的に推定し、最小の推定値を追跡します。fitrlinearは、検定損失を推定するときに、推定値を最小の推定値と比較します。以後の検定損失の推定値が最小推定値の 5 倍より大きくなった場合、
fitrlinearは最適化を終了します。
ValidationDataを指定して交差検証ルーチン (CrossVal、CVPartition、HoldoutまたはKFold) を実装した場合、次のようになります。fitrlinearは、学習データの分割を使用してモデルに学習をさせます。目的関数の最適化時に、fitrlinearは最適化を終了させるための他の可能な方法としてValidationDataを使用します (詳細については、前の項目を参照)。終了条件が満たされると、
fitrlinearは最適化された線形係数および切片に基づいて学習済みのモデルを構築します。k 分割交差検証を実装した場合、
fitrlinearが網羅していない学習セット分割があると、fitrlinearはステップ 2 に戻り、次の学習セット分割を使用して学習を行います。それ以外の場合、
fitrlinearは学習を終了させ、交差検証済みのモデルを返します。
交差検証済みモデルの品質を判断できます。以下に例を示します。
ステップ 1 のホールドアウトまたは分割外データを使用して検定損失を決定するには、交差検証済みのモデルを
kfoldLossに渡します。ステップ 1 のホールドアウトまたは分割外データで観測値を予測するには、交差検証済みのモデルを
kfoldPredictに渡します。
参照
[1] Ho, C. H. and C. J. Lin. “Large-Scale Linear Support Vector Regression.” Journal of Machine Learning Research, Vol. 13, 2012, pp. 3323–3348.
[2] Hsieh, C. J., K. W. Chang, C. J. Lin, S. S. Keerthi, and S. Sundararajan. “A Dual Coordinate Descent Method for Large-Scale Linear SVM.” Proceedings of the 25th International Conference on Machine Learning, ICML ’08, 2001, pp. 408–415.
[3] Langford, J., L. Li, and T. Zhang. “Sparse Online Learning Via Truncated Gradient.” J. Mach. Learn. Res., Vol. 10, 2009, pp. 777–801.
[4] Nocedal, J. and S. J. Wright. Numerical Optimization, 2nd ed., New York: Springer, 2006.
[5] Shalev-Shwartz, S., Y. Singer, and N. Srebro. “Pegasos: Primal Estimated Sub-Gradient Solver for SVM.” Proceedings of the 24th International Conference on Machine Learning, ICML ’07, 2007, pp. 807–814.
[6] Wright, S. J., R. D. Nowak, and M. A. T. Figueiredo. “Sparse Reconstruction by Separable Approximation.” Trans. Sig. Proc., Vol. 57, No 7, 2009, pp. 2479–2493.
[7] Xiao, Lin. “Dual Averaging Methods for Regularized Stochastic Learning and Online Optimization.” J. Mach. Learn. Res., Vol. 11, 2010, pp. 2543–2596.
[8] Xu, Wei. “Towards Optimal One Pass Large Scale Learning with Averaged Stochastic Gradient Descent.” CoRR, abs/1107.2490, 2011.
拡張機能
参考
fitclinear | fitlm | fitrsvm | kfoldLoss | kfoldPredict | lasso | predict | RegressionLinear | RegressionPartitionedLinear | ridge
Select a Web Site
Choose a web site to get translated content where available and see local events and offers. Based on your location, we recommend that you select: .
Select web siteYou can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)
