最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

lassoglm

一般化線形モデルに対する LASSO または Elastic Net 正則化

構文

B = lassoglm(X,y)

B = lassoglm(X,y,distr)

B = lassoglm(X,y,distr,Name,Value)

[B,FitInfo] = lassoglm(___)

説明

B = lassoglm(X,y) は、予測子データ X および応答 y の一般化線形モデルについて、ペナルティ付き最尤近似係数を返します。y 内の値は正規確率分布に従うと仮定されます。B の各列は Lambda 内の特定の正則化係数に対応します。既定では、lassoglm は Lambda の値の等比数列を使用して LASSO 正則化を実行します。

B = lassoglm(X,y,distr) は、y について確率分布 distr を使用することにより、LASSO 正則化を実行してモデルをあてはめます。

B = lassoglm(X,y,distr,Name,Value) は、1 つ以上の名前と値のペアの引数で指定された追加オプションを使用して、正則化された一般化線形回帰をあてはめます。たとえば 'Alpha',0.5 は、パラメーター Alpha が 0.5 に等しい Elastic Net を正則化の手法として設定します。

[B,FitInfo] = lassoglm(___) は、前の構文の入力引数のいずれかを使用して、モデルのあてはめに関する情報が格納されている構造体 FitInfo も返します。

例

LASSO 正則化の使用による冗長な予測子の削除

冗長な予測子があるデータセットを作成し、lassoglm を使用してこれらの予測子を識別します。

100 個の観測値と 10 個の予測子が含まれているランダムな行列 X を作成します。予測子のうち 4 つのみと小量のノイズを使用して、正規分布に従う応答 y を作成します。

rng default
X = randn(100,10);
weights = [0.6;0.5;0.7;0.4];
y = X(:,[2 4 5 7])*weights + randn(100,1)*0.1; % Small added noise

LASSO 正則化を実行します。

B = lassoglm(X,y);

B 内の 75 番目の Lambda の値について係数ベクトルを求めます。

B(:,75)

ans = 10×1

         0
    0.5431
         0
    0.3944
    0.6173
         0
    0.3473
         0
         0
         0

lassoglm は冗長予測子を識別して、削除します。

一般化線形モデルの、交差検証された LASSO 正則化

ポアソン モデルからデータを作成し、lassoglm を使用して重要な予測子を特定します。

20 個の予測子が含まれているデータを作成します。予測子のうち 3 つのみと定数を使用して、ポアソン応答変数を作成します。

rng default % For reproducibility
X = randn(100,20);
weights = [.4;.2;.3];
mu = exp(X(:,[5 10 15])*weights + 1);
y = poissrnd(mu);

データのポアソン回帰モデルの交差検証 LASSO 正則化を構築します。

[B,FitInfo] = lassoglm(X,y,'poisson','CV',10);

Lambda 正則化パラメーターの効果を確認するために交差検証プロットを調べます。

lassoPlot(B,FitInfo,'plottype','CV'); 
legend('show') % Show legend

緑の円と点線は、交差検証誤差が最小になる Lambda を示しています。青の円と点線は、最小交差検証誤差に 1 標準偏差を加算した点を示しています。

識別された 2 つの点に対応する非ゼロのモデル係数を検出します。

idxLambdaMinDeviance = FitInfo.IndexMinDeviance;
mincoefs = find(B(:,idxLambdaMinDeviance))

mincoefs = 7×1

     3
     5
     6
    10
    11
    15
    16

idxLambda1SE = FitInfo.Index1SE;
min1coefs = find(B(:,idxLambda1SE))

min1coefs = 3×1

     5
    10
    15

最小値に 1 標準誤差を加えた点の係数は、データを作成するために使用した係数そのものです。

LASSO 正則化の使用による値の予測

lassoglm を使用して、学生が最後の試験で B 以上を取ったかどうかを予測します。

examgrades データセットを読み込みます。最後の試験成績を logical ベクトルに変換します。1 は 80 点以上の成績を、0 は 80 点未満の成績を表します。

load examgrades
X = grades(:,1:4);
y = grades(:,5);
yBinom = (y>=80);

データを学習セットとテスト セットに分割します。

rng default    % Set the seed for reproducibility
c = cvpartition(yBinom,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = yBinom(idxTrain);
XTest = X(idxTest,:);
yTest = yBinom(idxTest);

学習データに対する 3 分割の交差検証を使用して、一般化線形モデル回帰について LASSO 正則化を実行します。y 内の値は二項分布に従うと仮定します。予期される逸脱度が最小である Lambda に対応するモデル係数を選択します。

[B,FitInfo] = lassoglm(XTrain,yTrain,'binomial','CV',3);
idxLambdaMinDeviance = FitInfo.IndexMinDeviance;
B0 = FitInfo.Intercept(idxLambdaMinDeviance);
coef = [B0; B(:,idxLambdaMinDeviance)]

coef = 5×1

  -21.1911
    0.0235
    0.0670
    0.0693
    0.0949

前の手順で求めたモデル係数を使用して、テスト データについて試験成績を予測します。'logit' を使用して、二項応答のリンク関数を指定します。予測値を logical ベクトルに変換します。

yhat = glmval(coef,XTest,'logit');
yhatBinom = (yhat>=0.5);

混同行列を使用して、予測の精度を判断します。

[c,order] = confusionmat(yTest,yhatBinom)

c = 2×2

    29     1
     4     2

order = 2x1 logical array

   0
   1

この関数は、31 個の試験成績を正しく予測しています。しかし、1 人の学生を B 以上、4 人の学生を B 未満の成績として誤って予測しています。

入力引数

X — 予測子データ

数値行列

予測子データ。数値行列として指定します。各行は 1 つの観測値を、各列は 1 つの予測子変数を表します。

データ型: single | double

y — 応答データ

数値ベクトル | logical ベクトル | categorical 配列 | 数値行列

応答データ。数値ベクトル、logical ベクトル、categorical 配列、または 2 列の数値行列を指定します。

• distr が 'binomial' ではない場合、y は長さ n の数値ベクトルまたは categorical 配列です。n は X の行数です。応答 y(i) は X の行 i に対応します。

• distr が 'binomial' である場合、y は次のいずれかです。

  • 各エントリが成功 (1) または失敗 (0) を表す、長さ n の数値ベクトル

  • 各エントリが成功または失敗を表す、長さ n の logical ベクトル

  • 各エントリが成功または失敗を表す、長さ n の categorical 配列

  • 1 列目に各観測値の成功回数、2 列目に総試行回数が含まれている、2 列の数値行列

データ型: single | double | logical | categorical

distr — 応答データの分布

'normal' | 'binomial' | 'poisson' | 'gamma' | 'inverse gaussian'

応答データの分布。次のいずれかを指定します。

• 'normal'

• 'binomial'

• 'poisson'

• 'gamma'

• 'inverse gaussian'

lassoglm は、distr に対応する既定のリンク関数を使用します。別のリンク関数を指定するには、名前と値のペアの引数 Link を使用します。

名前と値のペアの引数

オプションの引数 Name,Value のコンマ区切りペアを指定します。Name は引数名で、Value は対応する値です。Name は引用符で閉じなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を任意の順序で指定できます。

例: lassoglm(X,y,'poisson','Alpha',0.5) は、応答値がポアソン分布に従っていると仮定して Elastic Net 正則化を実行します。名前と値のペアの引数 'Alpha',0.5 は、Elastic Net 最適化で使用されるパラメーターを設定します。

'Alpha' — リッジ最適化に対する LASSO 最適化の重み

1 (既定値) | 正のスカラー

リッジ (L²) 最適化に対する LASSO (L¹) 最適化の重み。'Alpha' と区間 (0,1] にある正のスカラー値から構成されるコンマ区切りのペアとして指定します。値 Alpha = 1 は LASSO 回帰を表します。0 に近い Alpha はリッジ回帰に近づき、他の値は Elastic Net 最適化を表します。Elastic Netを参照してください。

例: 'Alpha',0.75

データ型: single | double

'CV' — 逸脱度を推定するための交差検証の指定

'resubstitution' (既定値) | 正の整数スカラー | cvpartition オブジェクト

逸脱度を推定するための交差検証の指定。'CV' と次のいずれかから構成されるコンマ区切りのペアとして指定します。

• 'resubstitution' — lassoglm は、交差検証を使用せずに、X と y を使用してモデルをあてはめ、逸脱度を予測します。

• 正の整数スカラー K — lassoglm は K 分割交差検証を使用します。

• cvpartition オブジェクト cvp — lassoglm は、cvp で表された交差検証法を使用します。'leaveout' 分割は lassoglm と一緒には使用できません。

例: 'CV',10

'DFmax' — 非ゼロ係数の最大個数

Inf (既定値) | 正の整数スカラー

モデル内の非ゼロ係数の最大個数。'DFmax' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。lassoglm は、この基準を満たす Lambda の値のみについて結果を返します。

例: 'DFmax',25

データ型: single | double

'Lambda' — 正則化係数

非負のベクトル

正則化係数。'Lambda' と非負値のベクトルから構成されるコンマ区切りのペアとして指定します。LASSOを参照してください。

• Lambda を指定しなかった場合、lassoglm は非 Null モデルを提供する Lambda の最大値を推定します。この場合、LambdaRatio はシーケンスの最小値/最大値の比を示し、NumLambda はベクトルの長さを示します。

• Lambda を指定した場合、lassoglm は LambdaRatio と NumLambda を無視します。

• Standardize が true である場合、Lambda は、平均がゼロ、分散が 1 になるように X のデータを標準化した状態でモデルをあてはめるために使用された値の集合です。

既定は、最大値だけが B = 0 になる可能性がある、NumLambda の値の等比数列です。

データ型: single | double

'LambdaRatio' — Lambda の最大値に対する最小値の比率

1e–4 (既定値) | 正のスカラー

Lambda を指定しなかった場合の、Lambda の最大値に対する最小値の比率。'LambdaRatio' と正のスカラーから構成されるコンマ区切りのペアとして指定します。

LambdaRatio = 0 に設定した場合、lassoglm は Lambda の値について既定の数列を生成し、最小値を 0 に置き換えます。

例: 'LambdaRatio',1e–2

データ型: single | double

'Link' — 応答の平均と線形予測子の間のマッピング

'comploglog' | 'identity' | 'log' | 'logit' | 'loglog' | ...

応答の平均 µ と線形予測子 Xb の間のマッピング。'Link' と次の表のいずれかの値から構成されるコンマ区切りのペアとして指定します。

値	説明
'comploglog'	log(–log((1 – µ))) = Xb
'identity'、分布の既定の設定 'normal'	µ = Xb
'log'、分布の既定の設定 'poisson'	log(µ) = Xb
'logit'、分布の既定の設定 'binomial'	log(µ/(1 – µ)) = Xb
'loglog'	log(–log(µ)) = Xb
'probit'	Φ–1(µ) = Xb、Φ は正規 (ガウス) 累積分布関数
'reciprocal'、分布の既定の設定 'gamma'	µ–1 = Xb
p (数値)、分布 'inverse gaussian' の既定の設定 (p = -2 の場合)	µp = Xb
リンク (FL)、リンクの導関数 (FD)、逆リンク (FI) を定義する 3 つの関数ハンドル (@ を使用して作成) が含まれている、{FL FD FI} という形式の cell 配列。または、FL を格納するフィールド Link、FD を格納するフィールド Derivative、および FI を格納するフィールド Inverse をもつ、関数ハンドルの構造体。	ユーザー指定のリンク関数 (カスタム リンク関数を参照)

例: 'Link','probit'

データ型: char | string | single | double | cell

'MaxIter' — 許容される最大反復回数

1e4 (既定値) | 正の整数スカラー

許容される最大反復回数。'MaxIter' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。

反復回数が MaxIter 回になっても収束許容誤差 RelTol に達しなかった場合、反復が停止し、警告メッセージが返されます。

NumLambda が 1 より大きい場合、複数の警告が返される可能性があります。

例: 'MaxIter',1e3

データ型: single | double

'MCReps' — 交差検証用のモンテカルロ反復回数

1 (既定値) | 正の整数スカラー

交差検証用のモンテカルロ反復回数。'MCReps' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。

• CV が 'resubstitution' であるか 'resubstitution' タイプの cvpartition である場合、MCReps は 1 でなければなりません。

• CV が 'holdout' タイプの cvpartition である場合、MCReps は 1 より大きくなければなりません。

例: 'MCReps',2

データ型: single | double

'NumLambda' — Lambda の値の個数

100 (既定値) | 正の整数スカラー

Lambda を指定しなかった場合に lassoglm で使用する Lambda の値の個数。'NumLambda' と正の整数スカラーから構成されるコンマ区切りのペアとして指定します。null の逸脱度 (予測子 X を使用しないあてはめの逸脱度) のしきい値の比率をあてはめの逸脱度が下回る場合、lassoglm は NumLambda より少ない個数のあてはめを返す可能性があります。

例: 'NumLambda',150

データ型: single | double

'Offset' — 追加の予測子変数

数値ベクトル

追加の予測子変数。'Offset' と、行数が X と同じである数値ベクトルから構成されるコンマ区切りのペアとして指定します。関数 lassoglm は、Offset の係数値を 1.0 に固定します。

データ型: single | double

'Options' — 並列的な交差検証と乱数ストリームを指定するためのオプション

構造体

並列的な交差検証と乱数ストリームを指定するためのオプション。'Options' と構造体から構成されるコンマ区切りのペアとして指定します。このオプションには Parallel Computing Toolbox™ が必要です。

statset を使用して Options 構造体を作成します。このオプションのフィールドは以下です。

• UseParallel — 並列計算する場合は true に設定します。既定の設定は false です。

• UseSubstreams — 再生成可能な方法で並列計算する場合は true に設定します。再現性を得るには、'mlfg6331_64' や 'mrg32k3a' などのサブストリームを許可するタイプに Streams を設定します。既定の設定は false です。

• Streams — RandStream オブジェクトまたはそのようなオブジェクトで構成される cell 配列。Streams を指定しなかった場合、lassoglm は既定のストリームを使用します。

例: 'Options',statset('UseParallel',true)

データ型: 構造体

'PredictorNames' — 予測子変数の名前

{} (既定値) | string 配列 | 文字ベクトルの cell 配列

X に現れる順序で並んでいる、予測子変数の名前。'PredictorNames' と string 配列、または文字ベクトルの cell 配列から構成されるコンマ区切りのペアとして指定します。

例: 'PredictorNames',{'Height','Weight','Age'}

データ型: string | cell

'RelTol' — 座標降下アルゴリズムの収束しきい値

1e–4 (既定値) | 正のスカラー

座標降下アルゴリズム[3]の収束しきい値。'RelTol' と正のスカラーから構成されるコンマ区切りのペアとして指定します。係数ベクトルの連続推定が、L² ノルムにおいて RelTol 未満の相対的な量の差異がある場合、このアルゴリズムは終了します。

例: 'RelTol',2e–3

データ型: single | double

'Standardize' — モデルあてはめ前の予測子データ標準化のフラグ

true (既定値) | false

モデルをあてはめる前の予測子データ X の標準化フラグ。'Standardize' と true または false から構成されるコンマ区切りのペアで指定します。Standardize が true である場合、平均がゼロ、分散が 1 になるように X のデータがスケーリングされます。Standardize は、標準化されたスケールと元のスケールのどちらで正則化を係数に適用するかに影響を与えます。結果は、常に元のデータ スケールで与えられます。

例: 'Standardize',false

データ型: logical

'Weights' — 観測値の重み

1/n*ones(n,1) (既定値) | 非負のベクトル

観測値の重み。'Weights' と非負のベクトルから構成されるコンマ区切りのペアとして指定します。Weights の長さは n です。n は X の行数です。少なくとも 2 つの値が正でなければなりません。

データ型: single | double

出力引数

B — 近似された係数

数値行列

近似された係数。数値行列として返されます。B は p 行 L 列の行列です。p は X 内の予測子 (列) の個数、L は Lambda の値の個数です。Lambda の値の個数は、名前と値のペアの引数 NumLambda を使用して指定できます。

切片項に対応する係数は、FitInfo のフィールドです。

データ型: single | double

FitInfo — モデルのあてはめ情報

構造体

一般化線形モデルのあてはめ情報。次の表に記載されているフィールドが含まれている構造体として返されます。

FitInfo のフィールド	説明
Intercept	各線形モデルの切片の項 β0、1 行 L 列のベクトル
Lambda	降順の Lambda パラメーター、1 行 L 列のベクトル
Alpha	Alpha パラメーターの値、スカラー値
DF	Lambda の各値の B 内の非ゼロ係数の数、1 行 L 列のベクトル
Deviance	Lambda の各値についてのあてはめたモデルの逸脱度、1 行 L 列のベクトル モデルを交差検証した場合、Deviance の値は、交差検証で計算された、新しいデータに適用したモデルの推定期待逸脱度を表します。実行しない場合、Deviance はあてはめを行うために使用されたデータに適用される、あてはめられたモデルの逸脱度です。
PredictorNames	PredictorNames パラメーターの値、文字ベクトルの cell 配列として格納

交差検証を行うように名前と値のペアの引数 CV を設定した場合、構造体 FitInfo には次の追加フィールドが含まれます。

FitInfo のフィールド	説明
SE	交差検証時に計算される各 Lambda の Deviance の標準誤差、1 行 L 列のベクトル
LambdaMinDeviance	交差検証によって計算された、最小期待逸脱度をもつ Lambda の値、スカラー値
Lambda1SE	Deviance と最小値の差が 1 標準誤差以内になる最大の Lambda の値、スカラー
IndexMinDeviance	値 LambdaMinDeviance の Lambda のインデックス、スカラー
Index1SE	値 Lambda1SE の Lambda のインデックス、スカラー

詳細

リンク関数

リンク関数 f(μ) は次の式を使用して、平均 μ の分布を、データ X と係数ベクトル b をもつ線形モデルにマッピングします。

f(μ) = Xb

リンク関数の式については、名前と値のペアの引数 Link の説明を参照してください。次の表は、各分布で一般に使用されるリンク関数の一覧です。

分布族	既定のリンク関数	他の一般的なリンク関数
'normal'	'identity'
'binomial'	'logit'	'comploglog'、'loglog'、'probit'
'poisson'	'log'
'gamma'	'reciprocal'
'inverse gaussian'	–2

LASSO

λ の非負の値に対して、lassoglm は次の問題を解決します。

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{N}\text{Deviance}\left({\beta }_0,\beta \right)+\lambda {\displaystyle \sum _{j=1}^p\left|{\beta }_j\right|}\right).$$

• この方程式の関数 Deviance は、切片 β₀ と予測子係数 β を使用して応答にあてはめたモデルの逸脱度です。逸脱度の式は、lassoglm に指定する distr パラメーターに依存します。λ ペナルティ付き逸脱度を最小化することは λ ペナルティ付き対数尤度を最大化することと等価です。

• N は、観測数です。

• λ は Lambda の 1 つの値に対応する非負の正則化パラメーターです。

• パラメーター β₀ と β はそれぞれ、スカラーと長さ p のベクトルです。

λ が増えると、β の非ゼロの要素が減ります。

LASSO の問題は、Elastic Net のアルゴリズムとは対照的に β の L¹ ノルムと関わっています。

Elastic Net

厳密に 0 と 1 の間にある α および非負の λ について、Elastic Net は次の問題を解きます。

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{N}\text{Deviance}\left({\beta }_0,\beta \right)+\lambda P_{\alpha }\left(\beta \right)\right),$$

ここで、

$$P_{\alpha }\left(\beta \right)=\frac{(1-\alpha )}{2}{\Vert \beta \Vert }_2^2+\alpha {\Vert \beta \Vert }_1={\displaystyle \sum _{j=1}^p\left(\frac{(1-\alpha )}{2}{\beta }_j^2+\alpha \left|{\beta }_j\right|\right)}.$$

Elastic Net は α = 1 のときに LASSO と同じになります。α が他の値の場合、β の L¹ ノルムと β の L² ノルムの間はペナルティ項 P_α(β) によって内挿されます。α が 0 に向かって縮小するにつれて、Elastic Net は ridge 回帰に近づきます。

参照

[1] Tibshirani, R. “Regression Shrinkage and Selection via the Lasso.” Journal of the Royal Statistical Society. Series B, Vol. 58, No. 1, 1996, pp. 267–288.

[2] Zou, H., and T. Hastie. “Regularization and Variable Selection via the Elastic Net.” Journal of the Royal Statistical Society. Series B, Vol. 67, No. 2, 2005, pp. 301–320.

[3] Friedman, J., R. Tibshirani, and T. Hastie. “Regularization Paths for Generalized Linear Models via Coordinate Descent.” Journal of Statistical Software. Vol. 33, No. 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. 2nd edition. New York: Springer, 2008.

[5] Dobson, A. J. An Introduction to Generalized Linear Models. 2nd edition. New York: Chapman & Hall/CRC Press, 2002.

[6] McCullagh, P., and J. A. Nelder. Generalized Linear Models. 2nd edition. New York: Chapman & Hall/CRC Press, 1989.

[7] Collett, D. Modelling Binary Data. 2nd edition. New York: Chapman & Hall/CRC Press, 2003.

拡張機能

自動並列サポート

Parallel Computing Toolbox™ を使用して自動的に並列計算を実行することで、コードを高速化します。

並列実行するには、'UseParallel' オプションを true に設定します。

statset を使用してオプション構造体の 'UseParallel' フィールドを true に設定し、この関数を呼び出すときに名前と値のペアの引数 'Options' を指定します。

たとえば、次のようにします。'Options',statset('UseParallel',true)

詳細については、名前と値のペアの引数 'Options' を参照してください。

参考

fitglm | glmval | lasso | lassoPlot | ridge

トピック

• ポアソン回帰の正則化
• ロジスティック回帰の正則化
• 並列化によるワイド データの正則化
• 一般化線形モデルの LASSO 正則化

R2012a で導入