メインコンテンツ

step

項の追加または削除による線形回帰モデルの改良

説明

NewMdl = step(mdl) は、ステップワイズ回帰を使用して 1 つの予測子を追加または削除した、mdl に基づく線形回帰モデルを返します。

NewMdl = step(mdl,Name,Value) では、1 つ以上の名前と値のペアの引数を使用して追加オプションを指定します。たとえば、項の追加または削除に使用する基準や、実行する最大ステップ数を指定できます。

すべて折りたたむ

線形回帰モデルを当てはめ、step を使用して項を追加または削除することによりモデルを改良します。この例では、関数 step がカテゴリカル予測子を扱う方法についても説明します。

carsmall データ セットを読み込み、変数 WeightModel_Year および MPG を使用して table を作成します。

load carsmall
tbl1 = table(MPG,Weight);
tbl1.Year = categorical(Model_Year);

Weight の関数として MPG の線形回帰モデルを作成します。

mdl1 = fitlm(tbl1,'MPG ~ Weight')
mdl1 = 
Linear regression model:
    MPG ~ 1 + Weight

Estimated Coefficients:
                    Estimate        SE         tStat       pValue  
                   __________    _________    _______    __________

    (Intercept)        49.238       1.6411     30.002    2.7015e-49
    Weight         -0.0086119    0.0005348    -16.103    1.6434e-28


Number of observations: 94, Error degrees of freedom: 92
Root Mean Squared Error: 4.13
R-squared: 0.738,  Adjusted R-Squared: 0.735
F-statistic vs. constant model: 259, p-value = 1.64e-28

step を使用して、'quadratic' までの項が含まれるようにモデルを調整します。最大 5 ステップのステップワイズ回帰を許可するため、'NSteps' として 5 を指定します。評価プロセスと、各ステップで行われた決定を表示するため、'Verbose' として 2 を指定します。

NewMdl1 = step(mdl1,'Upper','quadratic','NSteps',5,'Verbose',2)
   pValue for adding Year is 8.2284e-15
   pValue for adding Weight^2 is 0.15454
1. Adding Year, FStat = 47.5136, pValue = 8.22836e-15
   pValue for adding Weight:Year is 0.0071637
   pValue for adding Weight^2 is 0.0022303
2. Adding Weight^2, FStat = 9.9164, pValue = 0.0022303
   pValue for adding Weight:Year is 0.19519
   pValue for removing Year is 2.9042e-16
NewMdl1 = 
Linear regression model:
    MPG ~ 1 + Weight + Year + Weight^2

Estimated Coefficients:
                    Estimate         SE         tStat       pValue  
                   __________    __________    _______    __________

    (Intercept)        54.206        4.7117     11.505    2.6648e-19
    Weight          -0.016404     0.0031249    -5.2493    1.0283e-06
    Year_76            2.0887       0.71491     2.9215     0.0044137
    Year_82            8.1864       0.81531     10.041    2.6364e-16
    Weight^2       1.5573e-06    4.9454e-07      3.149     0.0022303


Number of observations: 94, Error degrees of freedom: 89
Root Mean Squared Error: 2.78
R-squared: 0.885,  Adjusted R-Squared: 0.88
F-statistic vs. constant model: 172, p-value = 5.52e-41

Year には 3 つの異なる値が含まれているので、step は 2 つの指標変数 Year_76 および Year_82 を作成します。指標変数の 2 乗はそれ自体なので、step は指標変数の 2 次の項を考慮しません。

'Verbose' が 2 なので、step は評価プロセスを表示します。

  • step は、Year または Weight^2 の追加に対する p 値を計算します。Yearp 値は Weight^2p 値および既定のしきい値 0.05 の両方より小さいので、stepYear をモデルに追加します。

  • step は、Weight:Year または Weight^2 の追加に対する p 値を計算します。Weight^2p 値は Weight:Yearp 値より小さいので、関数 stepWeight^2 をモデルに追加します。

  • 2 次の項を追加した後で、stepWeight:Year の追加に対する p 値を再度計算しますが、p 値はしきい値より大きくなっています。したがって、step は項をモデルに追加しません。名前と値のペアの引数 'Upper' によって指定された上限のため、stepWeight^3 の追加を検討しません。

  • step は、削除する項を探します。step は既に Weight^2 を検討したので、Year の削除に対する p 値のみを計算します。p 値が既定のしきい値 0.10 より小さいので、step は項を削除しません。

  • 許容される最大ステップ数は 5 ですが、項の追加または削除を行ってもモデルが改善されないので、step は 2 ステップ後に処理を停止します。

step は、2 つの指標変数を 1 つの予測子変数として扱い、Year を一度に追加します。2 つの指標変数を 2 つの異なる予測子変数として扱うには、dummyvarを使用して別々のカテゴリカル変数を作成します。

temp_Year = dummyvar(tbl1.Year);
Year_76 = temp_Year(:,2);
Year_82 = temp_Year(:,3);

MPGWeightYear_76 および Year_82 が含まれている table を作成します。

tbl2 = table(MPG,Weight,Year_76,Year_82);

Weight の関数として MPG の線形回帰モデルを作成し、step を使用してモデルを改良します。

mdl2 = fitlm(tbl2,'MPG ~ Weight');
NewMdl2 = step(mdl2,'Upper','quadratic','NSteps',5)
1. Adding Year_82, FStat = 83.1956, pValue = 1.76163e-14
2. Adding Weight:Year_82, FStat = 8.0641, pValue = 0.0055818
3. Adding Year_76, FStat = 8.1284, pValue = 0.0054157
NewMdl2 = 
Linear regression model:
    MPG ~ 1 + Year_76 + Weight*Year_82

Estimated Coefficients:
                       Estimate         SE         tStat       pValue  
                      __________    __________    _______    __________

    (Intercept)           38.844        1.5294     25.397     1.503e-42
    Weight             -0.006272    0.00042673    -14.698    1.5622e-25
    Year_76               2.0395       0.71537      2.851     0.0054157
    Year_82               19.607        3.8731     5.0623    2.2163e-06
    Weight:Year_82    -0.0046268     0.0014979    -3.0888     0.0026806


Number of observations: 94, Error degrees of freedom: 89
Root Mean Squared Error: 2.79
R-squared: 0.885,  Adjusted R-Squared: 0.88
F-statistic vs. constant model: 171, p-value = 6.54e-41

モデル NewMdl2 には、NewMdl1 に含まれていた項 Weight^2 の代わりに交互作用項 Weight:Year_82 が含まれています。

入力引数

すべて折りたたむ

線形回帰モデル。fitlm または stepwiselm を使用して作成した LinearModel オブジェクトとして指定します。

step を使用できるのは、名前と値のペアの引数 'RobustOpts' を既定の 'off' に設定して fitlm を使用することにより mdl を作成した場合だけです。

名前と値の引数

すべて折りたたむ

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: 'Criterion','aic','Upper','quadratic','Verbose',2 は、赤池情報量基準を使用し、(最大で) 2 次の項をモデルに含め、評価プロセスおよび各ステップで行われた決定を表示するよう step に指示します。

項を追加または削除する基準。'Criterion' と以下のいずれかの値から構成されるコンマ区切りのペアとして指定します。

  • 'sse' — 項の追加または削除によって生じる残差平方和の変化に対する F 検定の p 値。

  • 'aic' — 赤池情報量基準 (AIC) の値の変化

  • 'bic' — ベイズ情報量基準 (BIC) の値の変化

  • 'rsquared'R2 の値の増加

  • 'adjrsquared' — 自由度調整済み R2 の値の増加

例: 'Criterion','bic'

モデルから削除できない項を表すモデル仕様。'Lower' と次のいずれかの値から構成されるコンマ区切りのペアとして指定します。

  • モデルを指定する文字ベクトルまたは string スカラー。

    モデルの説明
    "constant"定数 (切片) 項のみがモデルに含まれます。
    "linear"切片と各予測子の線形項がモデルに含まれます。
    "interactions"切片、各予測子の線形項、および異なる予測子のペアすべての積がモデルに含まれます (二乗項はありません)。
    "purequadratic"切片項と各予測子の線形項および二乗項がモデルに含まれます。
    "quadratic"切片項、各予測子の線形項、二乗項、および異なる予測子のペアすべての積がモデルに含まれます。
    "polyijk"モデルは多項式であり、1 番目の予測子における次数 i までのすべての項、2 番目の予測子における次数 j までのすべての項が含まれます。3 番目以降の項についても同様です。0 ~ 9 の数値を使用して、各予測子の最大次数を指定します。モデルには交互作用項が含まれますが、各交互作用項の次数は、指定された次数の最大値を超えません。たとえば、"poly13" には、切片、x1x2x22x23x1*x2 および x1*x22 の各項が含まれます。x1 および x2 はそれぞれ 1 番目および 2 番目の予測子です。
  • モデル内の項を指定する t 行 (p + 1) 列の行列、つまり項の行列t は項の数、p は予測子変数の数であり、+1 は応答変数に相当します。項行列は、予測子の個数が多いときに項をプログラムで生成する場合に便利です。

  • 次の形式の文字ベクトルまたは string スカラー

    'Y ~ terms',

    ここで、termsウィルキンソンの表記法で表されます。式の変数名は、有効な MATLAB® 識別子でなければなりません。

例: 'Lower','linear'

データ型: single | double | char | string

実行する最大ステップ数。'NSteps' と正の整数から構成されるコンマ区切りのペアとして指定します。

例: 'NSteps',5

データ型: single | double

項を追加する基準のしきい値。次の表に記載されているスカラー値として指定します。

基準既定値判定
'SSE'0.05F 統計量の p 値が PEnter (入力に対する p 値) より小さい場合、項をモデルに追加します。
'AIC'0モデルの AIC の変化が PEnter より小さい場合、項をモデルに追加します。
'BIC'0モデルの BIC の変化が PEnter より小さい場合、項をモデルに追加します。
'Rsquared'0.1モデルの決定係数値の増加が PEnter より大きい場合、項をモデルに追加します。
'AdjRsquared'0モデルの自由度調整済み決定係数値の増加が PEnter より大きい場合、項をモデルに追加します。

変数増加法のステップワイズ回帰を防ぐには、step が達することがない値を PEnter に指定します。

  • Criterion"SSE""AIC"、または "BIC" の場合は、PEnter–Inf として指定します。

  • Criterion"Rsquared" または "AdjRsquared" の場合は、PEnterInf として指定します。

例: PEnter=0.075

項を削除する基準のしきい値。次の表に記載されているスカラー値として指定します。

基準既定値判定
"SSE"0.10F 統計量の p 値が PRemove (削除する p 値) より大きい場合、項をモデルから削除します。
"AIC"0.01モデルの AIC の変化が PRemove より大きい場合、項をモデルから削除します。
"BIC"0.01モデルの BIC の変化が PRemove より大きい場合、項をモデルから削除します。
"Rsquared"0.05モデルの決定係数値の増加が PRemove より小さい場合、項をモデルから削除します。
"AdjRsquared"-0.05モデルの自由度調整済み決定係数値の増加が PRemove より小さい場合、項をモデルから削除します。

各ステップで、関数 step は項が現在のモデル内の他の項に対して冗長 (線形従属) であるかどうかもチェックします。項が現在のモデル内の他の項に線形従属している場合、関数 step は従属する項を基準値に関係なく削除します。詳細については、Criterion を参照してください。

変数減少法のステップワイズ回帰を防ぐには、step が達することがない値を PRemove に指定します。

  • Criterion"SSE""AIC"、または "BIC" の場合は、PRemoveInf として指定します。

  • Criterion"Rsquared" または "AdjRsquared" の場合は、PRemove–Inf として指定します。

例: PRemove=0.05

当てはめにおける最大の項集合を記述するモデル仕様。'Upper' と次のいずれかの値から構成されるコンマ区切りのペアとして指定します。

  • モデルを指定する文字ベクトルまたは string スカラー。

    モデルの説明
    "constant"定数 (切片) 項のみがモデルに含まれます。
    "linear"切片と各予測子の線形項がモデルに含まれます。
    "interactions"切片、各予測子の線形項、および異なる予測子のペアすべての積がモデルに含まれます (二乗項はありません)。
    "purequadratic"切片項と各予測子の線形項および二乗項がモデルに含まれます。
    "quadratic"切片項、各予測子の線形項、二乗項、および異なる予測子のペアすべての積がモデルに含まれます。
    "polyijk"モデルは多項式であり、1 番目の予測子における次数 i までのすべての項、2 番目の予測子における次数 j までのすべての項が含まれます。3 番目以降の項についても同様です。0 ~ 9 の数値を使用して、各予測子の最大次数を指定します。モデルには交互作用項が含まれますが、各交互作用項の次数は、指定された次数の最大値を超えません。たとえば、"poly13" には、切片、x1x2x22x23x1*x2 および x1*x22 の各項が含まれます。x1 および x2 はそれぞれ 1 番目および 2 番目の予測子です。
  • モデル内の項を指定する t 行 (p + 1) 列の行列、つまり項の行列t は項の数、p は予測子変数の数であり、+1 は応答変数に相当します。項行列は、予測子の個数が多いときに項をプログラムで生成する場合に便利です。

  • 次の形式の文字ベクトルまたは string スカラー

    'Y ~ terms',

    ここで、termsウィルキンソンの表記法で表されます。式の変数名は、有効な MATLAB 識別子でなければなりません。

例: 'Upper','quadratic'

データ型: single | double | char | string

情報の表示に関する制御。'Verbose' と以下のいずれかの値から構成されるコンマ区切りのペアとして指定します。

  • 0 — すべての表示を抑制します。

  • 1 — 各ステップで実行されるアクションを表示します。

  • 2 — 評価プロセスと、各ステップで実行されるアクションを表示します。

例: 'Verbose',2

出力引数

すべて折りたたむ

線形回帰モデル。LinearModel オブジェクトとして返されます。

入力引数 mdl を上書きするには、新しいモデルを mdl に代入します。

mdl = step(mdl);

詳細

すべて折りたたむ

アルゴリズム

  • "ステップワイズ回帰" は、応答変数の説明としての各項の統計的な重要性に基づき、線形または一般化線形モデルの項を追加したり削除するための体系的な方法です。この方法は、まず modelspec を使用して指定される初期モデルから開始して、徐々により大きいまたはより小さいモデルの説明能力を比較していきます。

    関数 step は、変数増減法のステップワイズ回帰を使用して、最終的なモデルを決定します。各ステップで、名前と値のペアの引数 'Criterion' の値に基づいて、モデルに追加する項またはモデルから削除する項が探索されます。

    線形回帰モデルでは、'Criterion' の既定値は 'sse' です。この場合、LinearModelstepstepwiselm は、各ステップで F 統計量の p 値を使用して、ある項が存在する場合と存在しない場合のモデルを検定します。ある項が現在はモデルにない場合、帰無仮説は、項がモデルに追加された場合に係数ゼロをもつということです。帰無仮説を棄却する十分な証拠がある場合、その項がモデルに追加されます。逆に、ある項がモデルに現在ある場合、帰無仮説は、その項が係数ゼロをもつことです。帰無仮説を棄却する十分な証拠がない場合、その項がモデルから削除されます。

    'Criterion''sse' である場合、ステップワイズ回帰では以下のステップが実行されます。

    1. 初期モデルを当てはめます。

    2. 使用可能な一連の項の中でモデルに含まれていないものを調べます。いずれかの項に対する p 値が開始許容誤差より小さい場合 (つまり、モデルに追加すると係数がゼロになる可能性が低い場合)、p 値が最小である項を追加し、このステップを繰り返します。それ以外の場合、ステップ 3 を実行します。

    3. モデルに含まれている使用可能な項のいずれかに対する p 値が終了許容誤差より大きい場合 (つまり、係数がゼロになるという仮説を棄却できない場合)、p 値が最大である項を削除してステップ 2 に戻ります。それ以外の場合、このプロセスを終了します。

    高い次数の項は、その項のサブセットである低い次数の項のすべてもモデルに含まれている場合を除き、どの段階でも追加されません。たとえば、X1X2^2 の両方が既にモデルに含まれている場合を除き、X1:X2^2 という項の追加は試行されません。同様に、高い次数の項がモデルに残っている場合、そのサブセットである低い次数の項は削除されません。たとえば、X1:X2^2 がモデルに残っている場合、X1 または X2^2 の削除は試行されません。

    一般化線形モデルでは、'Criterion' の既定値は 'Deviance' です。GeneralizedLinearModelstepstepwiseglm は、同様の手順に従って項を追加または削除します。

    名前と値のペアの引数 'Criterion' を使用して、他の基準を指定できます。たとえば、赤池情報量基準、ベイズ情報量基準、決定係数または自由度調整済み決定係数の値の変化を、項の追加または削除の基準として指定できます。

    初期モデルに含まれている項と、項の追加および削除を行う順序によって、同じ一連の項から異なるモデルが構築される可能性があります。どのステップでもモデルが改良されなくなると、この関数は終了します。ただし、異なる初期モデルまたはステップの順序を使用しても、近似が向上するという保証はありません。この意味において、ステップワイズ モデルは、ローカルでは最適でもグローバルでは最適ではないことがあります。

  • step では、カテゴリカル予測子が次のように扱われます。

    • L 個の水準 (カテゴリ) があるカテゴリカル予測子をもつモデルには、L – 1 個の指標変数が含まれています。1 番目のカテゴリが基準水準として使用されるので、基準水準に対する指標変数はモデルに含まれません。カテゴリカル予測子のデータ型が categorical である場合、categories を使用してカテゴリの順序をチェックし、reordercats を使用してカテゴリを並べ替えることにより、基準水準をカスタマイズできます。指標変数の作成の詳細については、ダミー変数の自動作成を参照してください。

    • step は、L – 1 個の指標変数のグループを単一の変数として扱います。指標変数を個別の予測子変数として扱うには、dummyvar を使用して指標変数を手動で作成します。そして、モデルを当てはめるときに、カテゴリカル変数の基準水準に対応するものを除く指標変数を使用します。カテゴリカル予測子 X について dummyvar(X) のすべての列と切片項を予測子として指定した場合、計画行列はランク落ちとなります。

    • L 個の水準をもつカテゴリカル予測子と連続予測子の間の交互作用項は、L – 1 個の指標変数と連続予測子の要素単位の積から構成されます。

    • L 個の水準をもつカテゴリカル予測子と M 個の水準をもつカテゴリカル予測子の間の交互作用項は、2 つのカテゴリカル予測子の水準について可能なすべての組み合わせを含めるため、(L – 1)*(M – 1) 個の指標変数から構成されます。

    • 指標の二乗はそれ自体に等しいので、より次数が高い項をカテゴリカル予測子に対して指定することはできません。

    したがって、step がカテゴリカル予測子を追加または削除する場合、実際には指標変数のグループが一度に追加または削除されます。同様に、カテゴリカル予測子が含まれている交互作用項を step が追加または削除する場合、実際には、カテゴリカル予測子が含まれている交互作用項のグループが追加または削除されます。

代替機能

  • stepwiselm を使用して開始モデルの項を指定し、項の追加や削除が有益ではなくなるまでモデルの改善を続けます。

  • 特定の項を追加または削除するには、addTerms または removeTerms を使用します。

拡張機能

すべて展開する

バージョン履歴

R2012a で導入