最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

lasso

線形モデルに対する LASSO または Elastic Net 正則化

構文

B = lasso(X,y)

B = lasso(X,y,Name,Value)

[B,FitInfo] = lasso(___)

説明

B = lasso(X,y) は、予測子データ X および応答 y の線形モデルについてあてはめた最小二乗回帰係数を返します。B の各列は Lambda 内の特定の正則化係数に対応します。既定では、lasso は Lambda の値の等比数列を使用して LASSO 正則化を実行します。

B = lasso(X,y,Name,Value) は、1 つ以上の名前と値のペアの引数で指定された追加オプションを使用して、正則化された回帰をあてはめます。たとえば 'Alpha',0.5 は、パラメーター Alpha が 0.5 に等しい Elastic Net を正則化の手法として設定します。

[B,FitInfo] = lasso(___) は、前の構文の入力引数のいずれかを使用して、モデルのあてはめに関する情報が格納されている構造体 FitInfo も返します。

例

LASSO 正則化の使用による冗長な予測子の削除

冗長な予測子があるデータセットを作成し、lasso を使用してこれらの予測子を識別します。

100 個の 5 次元正規変数が含まれている行列 X を作成します。X の 2 つの成分のみから応答ベクトル y を作成し、小量のノイズを追加します。

rng default % For reproducibility
X = randn(100,5);
weights = [0;2;0;-3;0]; % Only two nonzero coefficients
y = X*weights + randn(100,1)*0.1; % Small added noise

既定の LASSO 近似を作成します。

B = lasso(X,y);

B 内の 25 番目の Lambda の値について係数ベクトルを求めます。

B(:,25)

ans =

         0
    1.6093
         0
   -2.5865
         0

lasso は冗長予測子を識別して、削除します。

交差検証されたあてはめの使用による冗長な予測子の削除

冗長な予測子があるデータセットを作成し、交差検証された lasso を使用してこれらの予測子を識別します。

100 個の 5 次元正規変数が含まれている行列 X を作成します。X, の 2 つの成分から応答ベクトル y を作成し、小量のノイズを追加します。

rng default % For reproducibility
X = randn(100,5);
weights = [0;2;0;-3;0]; % Only two nonzero coefficients
y = X*weights + randn(100,1)*0.1; % Small added noise

予測子変数にラベルを付け、10 分割交差検証を使用して、LASSO 近似を作成します。

[B,FitInfo] = lasso(X,y,'CV',10,'PredictorNames',{'x1','x2','x3','x4','x5'});

最小の交差検証平均二乗誤差 (MSE) に対応するモデル内の変数を表示します。

idxLambdaMinMSE = FitInfo.IndexMinMSE;
minMSEModelPredictors = FitInfo.PredictorNames(B(:,idxLambdaMinMSE)~=0)

minMSEModelPredictors = 1x2 cell array
    {'x2'}    {'x4'}

最小の MSE から 1 標準誤差以内にある、最もスパースなモデル内の変数を表示します。

idxLambda1SE = FitInfo.Index1SE;
sparseModelPredictors = FitInfo.PredictorNames(B(:,idxLambda1SE)~=0)

sparseModelPredictors = 1x2 cell array
    {'x2'}    {'x4'}

この例では、lasso は 2 つのモデルについて同じ予測子を識別し、冗長な予測子を削除します。

交差検証した近似での LASSO プロット

さまざまな正則化レベルで交差検証誤差を視覚的に調べます。

標本データを読み込みます。

load acetylene

定数項を持たない、交互作用がある計画行列を作成します。

X = [x1 x2 x3];
D = x2fx(X,'interaction');
D(:,1) = []; % No constant term

10 分割交差検証を使用して LASSO 近似を作成します。結果をプロットできるように、出力 FitInfo を含めます。

rng default % For reproducibility
[B,FitInfo] = lasso(D,y,'CV',10);

交差検証した近似をプロットします。

lassoPlot(B,FitInfo,'PlotType','CV');
legend('show') % Show legend

緑の円と点線は、交差検証誤差が最小になる Lambda を示しています。青の円と点線は、最小交差検証誤差に 1 標準偏差を加算した点を示しています。

Elastic Net 正則化の使用による値の予測

lasso と Elastic Net 法を使用して、学生の試験の点数を予測します。

examgrades データセットを読み込みます。

load examgrades
X = grades(:,1:4);
y = grades(:,5);

データを学習セットとテスト セットに分割します。

n = length(y);
c = cvpartition(n,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = y(idxTrain);
XTest = X(idxTest,:);
yTest = y(idxTest);

10 分割交差検証と Alpha = 0.75 の Elastic Net 法を使用して、正則化された線形回帰モデルの係数を求めます。平均二乗誤差 (MSE) が最小 MSE から 1 標準誤差以内になる最大の Lambda の値を使用します。

[B,FitInfo] = lasso(XTrain,yTrain,'Alpha',0.75,'CV',10);
idxLambda1SE = FitInfo.Index1SE;
coef = B(:,idxLambda1SE);
coef0 = FitInfo.Intercept(idxLambda1SE);

テスト データについて試験の点数を予測します。基準線を使用して、予測された値を実際の試験の成績と比較します。

yhat = XTest*coef + coef0;
hold on
scatter(yTest,yhat)
plot(yTest,yTest)
xlabel('Actual Exam Grades')
ylabel('Predicted Exam Grades')
hold off

入力引数

X — 予測子データ

数値行列

予測子データ。数値行列として指定します。各行は 1 つの観測値を、各列は 1 つの予測子変数を表します。

データ型: single | double

y — 応答データ

数値ベクトル

応答データ。数値ベクトルを指定します。y の長さは n です。n は X の行数です。応答 y(i) は X の i 番目の行に対応します。

データ型: single | double

名前と値のペアの引数

オプションの Name,Value の引数ペアをコンマ区切りで指定します。ここで、Name は引数名で、Value は対応する値です。Name は単一引用符 (' ') で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前/値のペア引数を、任意の順番で指定できます。

例: lasso(X,y,'Alpha',0.75,'CV',10) は、10 分割交差検証を使用して Elastic Net 正則化を実行します。名前と値のペアの引数 'Alpha',0.75 は、Elastic Net 最適化で使用されるパラメーターを設定します。

'AbsTol' — 絶対許容誤差

1e–4 (既定値) | 正のスカラー

ADMM アルゴリズムの収束の判定に使用する絶対許容誤差。'AbsTol' と正のスカラーから構成されるコンマ区切りのペアとして指定します。このアルゴリズムは、係数ベクトルの連続する推定値の差異が AbsTol 未満の量になると収束します。

メモ

このオプションは、tall 配列に対して lasso を使用する場合のみ適用されます。詳細は、拡張機能を参照してください。

例: 'AbsTol',1e–3

データ型: single | double

'Alpha' — リッジ最適化に対する LASSO 最適化の重み

1 (既定値) | 正のスカラー

リッジ (L²) 最適化に対する LASSO (L¹) 最適化の重み。'Alpha' と区間 (0,1] にある正のスカラー値から構成されるコンマ区切りのペアとして指定します。値 Alpha = 1 は LASSO 回帰を表します。0 に近い Alpha はリッジ回帰に近づき、他の値は Elastic Net 最適化を表します。Elastic Netを参照してください。

例: 'Alpha',0.5

データ型: single | double

'B0' — ADMM アルゴリズムにおける x の係数の初期値

ゼロから成るベクトル (既定値) | 数値ベクトル

ADMM アルゴリズムにおける x の係数の初期値。'B0' と数値ベクトルから構成されるコンマ区切りのペアとして指定します。

メモ

このオプションは、tall 配列に対して lasso を使用する場合のみ適用されます。詳細は、拡張機能を参照してください。

データ型: single | double

'CV' — 平均二乗誤差を推定するための交差検証の指定

'resubstitution' (既定値) | 正の整数スカラー | cvpartition オブジェクト

平均二乗誤差 (MSE) を推定するための交差検証の指定。'CV' と次のいずれかから構成されるコンマ区切りのペアとして指定します。

• 'resubstitution' — lasso は、交差検証を使用せずに、X と y を使用してモデルをあてはめ、MSE を予測します。

• 正の整数スカラー K — lasso は K 分割交差検証を使用します。

• cvpartition オブジェクト cvp — lasso は、cvp で表された交差検証法を使用します。lasso では 'leaveout' を使用できません。

例: 'CV',3

'DFmax' — 非ゼロ係数の最大個数

Inf (既定値) | 正の整数スカラー

モデル内の非ゼロ係数の最大個数。'DFmax' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。lasso は、この基準を満たす Lambda の値のみについて結果を返します。

例: 'DFmax',5

データ型: single | double

'Lambda' — 正則化係数

非負のベクトル

正則化係数。'Lambda' と非負値のベクトルから構成されるコンマ区切りのペアとして指定します。LASSOを参照してください。

• Lambda を指定しなかった場合、lasso は非 Null モデルを提供する Lambda の最大値を計算します。この場合、LambdaRatio はシーケンスの最小値/最大値の比を示し、NumLambda はベクトルの長さを示します。

• Lambda を指定した場合、lasso は LambdaRatio と NumLambda を無視します。

• Standardize が true である場合、Lambda は、平均がゼロ、分散が 1 になるように X のデータを標準化した状態でモデルをあてはめるために使用された値の集合です。

既定は、最大値だけが B = 0 になる可能性がある、NumLambda の値の等比数列です。

例: 'Lambda',linspace(0,1)

データ型: single | double

'LambdaRatio' — Lambda の最大値に対する最小値の比率

1e–4 (既定値) | 正のスカラー

Lambda を指定しなかった場合の、Lambda の最大値に対する最小値の比率。'LambdaRatio' と正のスカラーから構成されるコンマ区切りのペアとして指定します。

LambdaRatio = 0 に設定した場合、lasso は Lambda の値について既定の数列を生成し、最小値を 0 に置き換えます。

例: 'LambdaRatio',1e–2

データ型: single | double

'MaxIter' — 許容される最大反復回数

正の整数スカラー

許容される最大反復回数。'MaxIter' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。

反復回数が MaxIter 回になっても収束許容誤差 RelTol に達しなかった場合、反復が停止し、警告メッセージが返されます。

NumLambda が 1 より大きい場合、複数の警告が返される可能性があります。

既定値は、標準データの場合は 1e5、tall 配列の場合は 1e4 です。

例: 'MaxIter',1e3

データ型: single | double

'MCReps' — 交差検証用のモンテカルロ反復回数

1 (既定値) | 正の整数スカラー

交差検証用のモンテカルロ反復回数。'MCReps' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。

• CV が 'resubstitution' であるか 'resubstitution' タイプの cvpartition である場合、MCReps は 1 でなければなりません。

• CV が 'holdout' タイプの cvpartition である場合、MCReps は 1 より大きくなければなりません。

例: 'MCReps',5

データ型: single | double

'NumLambda' — Lambda の値の個数

100 (既定値) | 正の整数スカラー

Lambda を指定しなかった場合に lasso で使用する Lambda の値の個数。'NumLambda' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。あてはめの残差誤差が y の分散のしきい値の比率を下回る場合、lasso は NumLambda より少ない個数のあてはめを返す可能性があります。

例: 'NumLambda',50

データ型: single | double

'Options' — 並列的な交差検証と乱数ストリームを指定するためのオプション

構造体

並列的な交差検証と乱数ストリームを指定するためのオプション。'Options' と構造体から構成されるコンマ区切りのペアとして指定します。statset を使用して Options 構造体を作成します。このオプションのフィールドは以下です。

• UseParallel — 並列計算する場合は true に設定します。既定の設定は false です。

• UseSubstreams — 再生成可能な方法で並列計算する場合は true に設定します。再現性を得るには、'mlfg6331_64' や 'mrg32k3a' などのサブストリームを許可するタイプに Streams を設定します。既定の設定は false です。

• Streams — RandStream オブジェクトまたはそのようなオブジェクトで構成される cell 配列。Streams を指定しなかった場合、lasso は既定のストリームを使用します。

例: 'Options',statset('UseParallel',true)

データ型: 構造体

'PredictorNames' — 予測子変数の名前

{} (既定値) | string 配列 | 文字ベクトルの cell 配列

X に現れる順序で並んでいる、予測子変数の名前。'PredictorNames' と string 配列、または文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。

例: 'PredictorNames',{'x1','x2','x3','x4'}

データ型: string | cell

'RelTol' — 座標降下アルゴリズムの収束しきい値

1e–4 (既定値) | 正のスカラー

座標降下アルゴリズム[3]の収束しきい値。'RelTol' と正のスカラーから構成されるコンマ区切りのペアとして指定します。係数ベクトルの連続推定が、L² ノルムにおいて RelTol 未満の相対的な量の差異がある場合、このアルゴリズムは終了します。

例: 'RelTol',5e–3

データ型: single | double

'Rho' — 拡張ラグランジュ パラメーター

正のスカラー

ADMM アルゴリズムのための拡張ラグランジュ パラメーター ρ。'Rho' と正のスカラーから構成されるコンマ区切りのペアとして指定します。既定は自動選択です。

メモ

このオプションは、tall 配列に対して lasso を使用する場合のみ適用されます。詳細は、拡張機能を参照してください。

例: 'Rho',2

データ型: single | double

'Standardize' — モデルあてはめ前の予測子データ標準化のフラグ

true (既定値) | false

モデルをあてはめる前の予測子データ X の標準化フラグ。'Standardize' と true または false から構成されるコンマ区切りのペアで指定します。Standardize が true である場合、平均がゼロ、分散が 1 になるように X のデータがスケーリングされます。Standardize は、標準化されたスケールと元のスケールのどちらで正則化を係数に適用するかに影響を与えます。結果は、常に元のデータ スケールで与えられます。

X と y は常にセンタリングされます。

例: 'Standardize',false

データ型: logical

'U0' — スケーリングされた双対変数の初期値

ゼロから成るベクトル (既定値) | 数値ベクトル

ADMM アルゴリズムにおけるスケーリングされた双対変数 u の初期値。'U0' と数値ベクトルから構成されるコンマ区切りのペアとして指定します。

メモ

このオプションは、tall 配列に対して lasso を使用する場合のみ適用されます。詳細は、拡張機能を参照してください。

データ型: single | double

'Weights' — 観測値の重み

1/n*ones(n,1) (既定値) | 非負のベクトル

観測値の重み。'Weights' と非負のベクトルから構成されるコンマ区切りのペアとして指定します。Weights の長さは n です。n は X の行数です。関数 lasso は、合計が 1 になるように Weights をスケーリングします。

データ型: single | double

出力引数

B — 近似された係数

数値行列

近似された係数。数値行列として返されます。B は p 行 L 列の行列です。p は X 内の予測子 (列) の個数、L は Lambda の値の個数です。Lambda の値の個数は、名前と値のペアの引数 NumLambda を使用して指定できます。

切片項に対応する係数は、FitInfo のフィールドです。

データ型: single | double

FitInfo — モデルのあてはめ情報

構造体

線形モデルのあてはめ情報。次の表に記載されているフィールドが含まれている構造体として返されます。

FitInfo のフィールド	説明
Intercept	各線形モデルの切片の項 β0、1 行 L 列のベクトル
Lambda	降順の Lambda パラメーター、1 行 L 列のベクトル
Alpha	Alpha パラメーターの値、スカラー値
DF	Lambda の各値の B 内の非ゼロ係数の数、1 行 L 列のベクトル
MSE	平均二乗誤差 (MSE)、1 行 L 列のベクトル
PredictorNames	PredictorNames パラメーターの値、文字ベクトルの cell 配列として格納

交差検証を行うように名前と値のペアの引数 CV を設定した場合、構造体 FitInfo には次の追加フィールドが含まれます。

FitInfo のフィールド	説明
SE	交差検証中に計算される各 Lambda の MSE の標準誤差、1 行 L 列のベクトル
LambdaMinMSE	MSE が最小である Lambda の値、スカラー
Lambda1SE	MSE と最小 MSE の差が 1 標準誤差以内になる最大の Lambda の値、スカラー
IndexMinMSE	値 LambdaMinMSE の Lambda のインデックス、スカラー
Index1SE	値 Lambda1SE の Lambda のインデックス、スカラー

詳細

LASSO

指定の λ 値 (非負のパラメーター) の場合、lasso は次の問題を解決します。

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{2N}{\displaystyle \sum _{i=1}^N{\left(y_i-{\beta }_0-x_i^T\beta \right)}^2}+\lambda {\displaystyle \sum _{j=1}^p\left|{\beta }_j\right|}\right).$$

• N は、観測数です。

• y_i は、観測値 i の応答データです。

• x_i はデータ (観測値 i における長さ p のベクトル) です。

• λ は Lambda の 1 つの値に対応する非負の正則化パラメーターです。

• パラメーター β₀ と β はそれぞれ、スカラーと長さ p のベクトルです。

λ が増えると、β の非ゼロの要素が減ります。

LASSO の問題は、Elastic Net のアルゴリズムとは対照的に β の L¹ ノルムと関わっています。

Elastic Net

厳密に 0 と 1 の間にある α および非負の λ について、Elastic Net は次の問題を解きます。

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{2N}{\displaystyle \sum _{i=1}^N{\left(y_i-{\beta }_0-x_i^T\beta \right)}^2}+\lambda P_{\alpha }\left(\beta \right)\right),$$

ここで、

$$P_{\alpha }\left(\beta \right)=\frac{(1-\alpha )}{2}{\Vert \beta \Vert }_2^2+\alpha {\Vert \beta \Vert }_1={\displaystyle \sum _{j=1}^p\left(\frac{(1-\alpha )}{2}{\beta }_j^2+\alpha \left|{\beta }_j\right|\right)}.$$

Elastic Net は α = 1 のときに LASSO と同じになります。α が他の値の場合、β の L¹ ノルムと β の L² ノルムの間はペナルティ項 P_α(β) によって内挿されます。α が 0 に向かって縮小するにつれて、Elastic Net は ridge 回帰に近づきます。

アルゴリズム

ADMM アルゴリズム

tall 配列を処理する場合、lasso は交互方向乗数法 (ADMM) [5] に基づくアルゴリズムを使用します。ここで使用している表記法は参考文献と同じです。この手法では、次の形式の問題を解きます。

$$l\left(x\right)+g\left(z\right)$$ を最小化する

$$Ax+Bz=c$$ という条件を適用する

この表記法を使用すると、LASSO 回帰問題は次のようになります。

$$l\left(x\right)+g\left(z\right)=\frac{1}{2}{\Vert Ax-b\Vert }_2^2+\lambda {\Vert z\Vert }_1$$ を最小化する

$$x-z=0$$ という条件を適用する

損失関数 $$l\left(x\right)=\frac{1}{2}{\Vert Ax-b\Vert }_2^2$$ は 2 次なので、このアルゴリズムで実行される反復の更新では、単一の係数行列と複数の右辺を使用して連立一次方程式を解くことになります。このアルゴリズムでは、各反復で次の更新が実行されます。

$$\begin{array}{l}{x}^{k+1}={\left(A^{T}A+\rho I\right)}^{-1}\left(A^{T}b+\rho \left(z^k-u^k\right)\right)\\ z^{k+1}=S_{\lambda /\rho }\left(x^{k+1}+u^k\right)\\ u^{k+1}=u^k+x^{k+1}-z^{k+1}\end{array}$$

A はデータセット (tall 配列)、x は係数、ρ はペナルティ パラメーター (拡張ラグランジュ パラメーター)、b は応答 (tall 配列)、S はソフトしきい値演算子です。

$$S_{\kappa }\left(a\right)=\{\begin{array}{c}\begin{array}{cc}a-\kappa ,& a>\kappa \end{array}\\ \begin{array}{cc}0,& \left|a\right|\le \kappa \end{array}\\ \begin{array}{cc}a+\kappa ,& a<\kappa \end{array}\end{array}.$$

係数行列 $$A^{T}A+\rho I$$ が対称かつ正定なので、lasso はコレスキー分解を使用して連立一次方程式を解きます。$$\rho$$ は反復間で変化しないので、コレスキー分解が反復間でキャッシュされます。

A と b は tall 配列ですが、これらは $$A^{T}A$$ および $$A^{T}b$$ という項のみに現れます。この 2 つの行列乗算の結果は小さいためメモリに収まるので、これらは事前に計算され、反復間の反復更新は完全にメモリ内で実行されます。

参照

[1] Tibshirani, R. “Regression Shrinkage and Selection via the Lasso.” Journal of the Royal Statistical Society. Series B, Vol. 58, No. 1, 1996, pp. 267–288.

[2] Zou, H., and T. Hastie. “Regularization and Variable Selection via the Elastic Net.” Journal of the Royal Statistical Society. Series B, Vol. 67, No. 2, 2005, pp. 301–320.

[3] Friedman, J., R. Tibshirani, and T. Hastie. “Regularization Paths for Generalized Linear Models via Coordinate Descent.” Journal of Statistical Software. Vol. 33, No. 1, 2010. http://www.jstatsoft.org/v33/i01

[4] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. 2nd edition. New York: Springer, 2008.

[5] Boyd, S. “Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers.” Foundations and Trends in Machine Learning. Vol. 3, No. 1, 2010, pp. 1–122.

拡張機能

tall 配列

メモリの許容量を超えるような多数の行を含む配列を計算します。

この関数は、メモリ超過のデータに対し tall 配列をサポートしますが、いくつかの制限があります。

• tall 配列の場合、lasso は ADMM (交互方向乗数法) に基づくアルゴリズムを使用します。

• Eelastic Net はサポートされません。パラメーター 'Alpha' は常に 1 です。

• 交差検証 (パラメーター 'CV') はサポートされません。これには、関連パラメーター 'MCReps' が含まれます。

• 出力 FitInfo に追加フィールド 'SE'、'LambdaMinMSE'、'Lambda1SE'、'IndexMinMSE' および 'Index1SE' は含まれません。

• ADMM アルゴリズムに適用されるオプションが含まれていないので、パラメーター 'Options' はサポートされません。名前と値のペアの引数を使用して ADMM アルゴリズムを調整できます。

• 以下の名前と値のペアの引数がサポートされます。

  • 'Lambda'

  • 'LambdaRatio'

  • 'NumLambda'

  • 'Standardize'

  • 'PredictorNames'

  • 'RelTol'

  • 'Weights'

• 以下は、ADMM アルゴリズムを制御するための追加の名前と値のペアの引数です。

  • 'Rho' — 拡張ラグランジュ パラメーター ρ。既定値は自動選択です。

  • 'AbsTol' — 収束の判別に使用される絶対許容誤差。既定値は 1e–4 です。

  • 'MaxIter' — 最大反復回数。既定値は 1e4 です。

  • 'B0' — 係数 x の初期値。既定値は 0 のベクトルです。

  • 'U0' — スケーリングされた双対変数 u の初期値。既定値は 0 のベクトルです。

詳細は、tall 配列 (MATLAB) を参照してください。

参考

fitlm | lassoPlot | lassoglm | ridge

トピック

• LASSO および Elastic Net

R2011b で導入