多変量回帰モデルの推定

最小二乗推定

• 通常の最小二乗

• 共分散の重み付き最小二乗

• 誤差の共分散推定

• 実行可能な一般化最小二乗

• パネル補正標準誤差

通常の最小二乗

多変量線形回帰モデルを mvregress を使用して当てはめる場合は、最適な名前と値のペアの 'algorithm','cwls' を使用して、最小二乗推定を選択します。この場合、既定の設定では mvregress は $$\Sigma =I_d$$ を使用して通常の最小二乗 (OLS) 推定値を返します。または、重み付けに共分散行列を指定した場合は、共分散の重み付き最小二乗 (CWLS) 推定を返すことができます。OLS と CWLS を結合すると、実行可能な一般化最小二乗 (FGLS) 推定を得ることができます。

係数ベクトルの OLS 推定値は、次の値が最小になるベクトル $$b$$ です。

$${\displaystyle \sum _{i=1}^n{\left(y_i-X_{i}b\right)}^{\prime }}\left(y_i-X_{i}b\right).$$

スタックした d 次元応答である nd 行 1 列のベクトルを $$y$$、スタックした計画行列である nd 行 K 列の行列を $$X$$ で表すとします。OLS 回帰係数の推定値である K 行 1 列のベクトルは、次のようになります。

$$b_{OLS}={\left(X^{\prime }X\right)}^{-1}{X}^{\prime }y.$$

これは、mvregress の 1 番目の出力です。

$$\Sigma =I_d$$ であるとすると (mvregress の OLS の既定)、OLS 推定値の分散共分散行列は次のようになります。

$$V(b_{OLS})={(X^{\prime }X)}^{-1}.$$

これは、mvregress の 4 番目の出力です。OLS 回帰係数の標準誤差は、この分散共分散行列の対角の平方根になります。

$$\Sigma ={\sigma }^2{I}_d$$ になるようにはデータをスケーリングしていない場合、$${\sigma }^2$$ の不偏推定である平均二乗誤差 (MSE) を mvregress の分散共分散行列に乗算できます。MSE を計算するため、n 行 d 列の残差の行列 $$E$$ が返されます (mvregress の 3 番目の出力)。すると、次のようになります。

$$\text{MSE}=\frac{{\displaystyle \sum _{i=1}^n{e}_i{e}_i{}^{\prime }}}{n-K},$$

ここで、$$e_i=(y_i-X_i\beta {)}^{\prime }$$ は $$E$$ の i 番目の行です。

共分散の重み付き最小二乗

ほとんどの多変量の問題は、単位誤差の共分散行列が不十分であるため、標準誤差の推定値の効率性が低くなったり、偏ったりします。オプションの名前と値のペアの引数 covar0 を使用すると、$$C_0$$ という名前の d 行 d 列の可逆行列など、CWLS 推定値の行列を指定できます。通常、$$C_0$$ は対角行列であり、不均一分散をモデル化するための各次元の重みが逆行列 $$C_0^{-1}$$ に含まれています。ただし、$$C_0$$ は相関をモデル化する非対角行列にすることもできます。

$$C_0$$ が与えられた場合、CWLS の解は次の値を最小化するベクトル $$b$$ です。

$${\displaystyle \sum _{i=1}^n{\left(y_i-X_{i}b\right)}^{\prime }}{C}_0\left(y_i-X_{i}b\right).$$

この場合、CWLS 回帰係数の推定値である K 行 1 列のベクトルは次のようになります。

$$b_{CWLS}={\left(X^{\prime }{\left(I_n\otimes C_0\right)}^{-1}X\right)}^{-1}{X}^{\prime }{\left(I_n\otimes C_0\right)}^{-1}y.$$

これは、mvregress の 1 番目の出力です。

$$\Sigma =C_0$$ の場合、これは一般化最小二乗 (GLS) の解になります。対応する CWLS 推定値の分散共分散行列は、次のようになります。

$$V(b_{CWLS})={\left(X\text{'}{\left(I_n\otimes C_0\right)}^{-1}X\right)}^{-1}.$$

これは、mvregress の 4 番目の出力です。CWLS 回帰係数の標準誤差は、この分散共分散行列の対角の平方根になります。

誤差の共分散行列が比率までしかわからない場合、つまり $$\Sigma ={\sigma }^2{C}_0$$ の場合、通常の最小二乗で説明されているように、mvregress の分散共分散行列に MSE を乗算できます。

誤差の共分散推定

使用する最小二乗法に関係なく、誤差の分散共分散行列の推定値は次のようになります。

$$\widehat{\Sigma }=\left(\begin{array}{cccc}{\widehat{\sigma }}_1^2& {\widehat{\sigma }}_{12}& \cdots & {\widehat{\sigma }}_{1d}\\ {\widehat{\sigma }}_{12}& {\widehat{\sigma }}_2^2& \cdots & {\widehat{\sigma }}_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ {\widehat{\sigma }}_{1d}& {\widehat{\sigma }}_{2d}& \cdots & {\widehat{\sigma }}_d^2\end{array}\right)=\frac{E^{\prime }E}{n},$$

ここで、$$E$$ は n 行 d 列の残差の行列です。$$E$$ の i 番目の行は $$e_i={\left(y_i-X_{i}b\right)}^{\prime }.$$ です。

誤差の共分散の推定値 $$\widehat{\Sigma }$$ は mvregress の 2 番目の出力、残差の行列 $$E$$ は 3 番目の出力です。オプションの名前と値のペアの引数 'covtype','diagonal' を指定した場合、mvregress は次のように非対角要素がゼロの $$\widehat{\Sigma }$$ を返します。

$$\widehat{\Sigma }=\left(\begin{array}{ccc}{\widehat{\sigma }}_1^2& & 0\\ & \ddots & \\ 0& & {\widehat{\sigma }}_d^2\end{array}\right).$$

実行可能な一般化最小二乗

一般化最小二乗推定は、既知の共分散行列を使用する CWLS 推定です。つまり、$$\Sigma$$ が既知の場合、GLS の解は次のようになります。

$$b_{GLS}={\left(X^{\prime }{(I_n\otimes \Sigma )}^{-1}X\right)}^{-1}{X}^{\prime }{(I_n\otimes \Sigma )}^{-1}y,$$

分散共分散行列は次のようになります。

$$V(b_{GLS})={\left(X^{\prime }{(I_n\otimes \Sigma )}^{-1}X\right)}^{-1}.$$

多くの場合、誤差の共分散は不明です。実行可能な一般化最小二乗 (FGLS) の推定値では、$$\Sigma$$ の代わりに $$\widehat{\Sigma }$$ を使用します。以下のようにして、2 ステップの FGLS 推定を取得できます。

1. OLS 回帰を実行し、推定値 $$\widehat{\Sigma }$$ を取得する。

2. $$C_0=\widehat{\Sigma }$$ を使用して CWLS 回帰を実行する。

また、収束に達するまでこれらの 2 つの手順を反復することもできます。

データによっては、OLS の推定値 $$\widehat{\Sigma }$$ が半正定値になり、一意な逆行列がありません。この場合は、mvregress を使用して FGLS 推定を得ることができません。代替方法として、一般化逆数を使用して半正定値共分散行列の重み付き最小二乗解を返す lscov を使用できます。

パネル補正標準誤差

FGLS の代替方法として、(一貫性のある) OLS 係数推定を使用し、標準誤差の補正を行って効率を向上させることができます。このような標準誤差調整 (共分散行列の逆演算を必要としない) が、パネル補正標準誤差 (PCSE) [1] です。OLS 推定値のパネル補正分散共分散行列は次のようになります。

$$V_{pcse}(b_{OLS})={(X^{\prime }X)}^{-1}{X}^{\prime }(I_n\otimes \Sigma )X{(X^{\prime }X)}^{-1}.$$

PCSE は、この分散共分散行列の対角の平方根です。PCSE の計算については、同時相関を使用する固定効果のパネル モデルを参照してください。

最尤推定法

• 最尤推定

• 標準誤差

最尤推定

mvregress で使用される既定の推定アルゴリズムは、最尤推定法 (MLE) です。多変量線形回帰モデルの対数尤度関数は次のようになります。

$$\begin{array}{l}\log L(\beta ,\Sigma |y,X)=\frac{1}{2}nd\log (2\pi )+\frac{1}{2}n\log (\det (\Sigma ))\\ \text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}+\frac{1}{2}{\displaystyle \sum _{i=1}^n{\left(y_i-X_i\beta \right)}^{\prime }}{\Sigma }^{-1}\left(y_i-X_i\beta \right).\\ \text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\end{array}$$

$$\beta$$ と $$\Sigma$$ の MLE は、対数尤度目的関数を最大化する値です。

mvregress では、反復的な 2 段階アルゴリズムを使用して MLE を見つけます。m + 1 回目の反復では、推定値は次のようになります。

$$b_{MLE}^{(m+1)}={\left(X^{\prime }{\left(I_n\otimes {\Sigma }^{(m)}\right)}^{-1}X\right)}^{-1}{X}^{\prime }{\left(I_n\otimes {\Sigma }^{(m)}\right)}^{-1}y$$

および

$${\widehat{\Sigma }}^{(m+1)}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\left(y_i-X_i{b}_{MLE}^{(m+1)}\right)}{\left(y_i-X_i{b}_{MLE}^{(m+1)}\right)}^{\prime }.$$

係数推定および対数尤度目的関数の変更が指定された許容誤差よりも小さい場合または指定された最大反復回数に達すると、アルゴリズムが終了します。これらの収束基準を変更するためのオプションの名前と値のペア引数はそれぞれ、tolbeta、tolobj および maxiter です。

標準誤差

MLE の分散共分散行列は、オプションの mvregress 出力です。既定の設定では、mvregress は回帰係数のみについて分散共分散行列を返します。しかし、オプションの名前と値のペアの引数 'vartype','full' を使用すると、$$\widehat{\Sigma }$$ の分散共分散行列も取得できます。この場合、mvregress は、すべての K 回帰係数の分散共分散行列および d または d(d + 1)/2 共分散項 (誤差の共分散が対角であるか、完全であるかによって異なります) を返します。

既定では、分散共分散行列は、観測されたフィッシャー情報行列の逆行列 ('hessian' オプション) です。オプションの名前と値のペアの 'vartype','fisher' を使用して予想フィッシャー情報行列を要求できます。応答データが欠損していない場合、観測フィッシャー情報行列と予想フィッシャー情報行列は同じです。応答データが欠損している場合、観測フィッシャー情報では、欠損値が原因で追加の不確定性が考慮されますが、予想フィッシャー情報行列では考慮されません。

回帰係数 MLE の分散共分散行列は次のようになります。

$$V(b_{MLE})={\left(X^{\prime }{(I_n\otimes \widehat{\Sigma })}^{-1}X\right)}^{-1},$$

これは、誤差の共分散行列の MLE で評価したものです。これは、4 番目の mvregress 出力です。MLE の標準誤差は、この分散共分散行列の対角の平方根になります。

$$\widehat{\Sigma }$$ について、推定した分散共分散行列におけるパラメーターのベクトルを $$\theta$$ で表すとします。たとえば、d = 2 の場合は次のようになります。

• 推定される共分散行列が対角行列の場合、$$\theta =({\widehat{\sigma }}_1^2,{\widehat{\sigma }}_2^2)$$

• 推定される共分散行列が非スパース行列の場合、$$\theta =({\widehat{\sigma }}_1^2,{\widehat{\sigma }}_{12},{\widehat{\sigma }}_2^2)$$

$$\theta$$ のフィッシャー情報行列 $$I(\theta )$$ には次の要素が含まれています。

$$I{(\theta )}_{u,v}=\frac{1}{2}tr\left({\widehat{\Sigma }}^{-1}\text{}\frac{\partial \widehat{\Sigma }}{\partial {\theta }_u}{\widehat{\Sigma }}^{-1}\text{}\frac{\partial \widehat{\Sigma }}{\partial {\theta }_v}\right),u,v=1,\dots ,n_{\theta },$$

ここで、$$n_{\theta }$$ は $$\theta$$ の長さ (d または d(d + 1)/2) です。生成される分散共分散行列は次のようになります。

$$V(\theta )=I{(\theta )}^{-1}.$$

非スパースの分散共分散行列を要求した場合、mvregress は (4 番目の出力として) 次のようなブロック対角行列を返します。

$$\left(\begin{array}{cc}V(b_{MLE})& 0\\ 0& V(\theta )\end{array}\right).$$

欠損応答データ

• 期待値または条件付き最大化

• 観測情報行列

期待値または条件付き最大化

応答値が欠損していることが、NaN で示される場合、mvregress では推定に期待値/条件付き最大化 (ECM) アルゴリズムを使用します (使用可能なデータが十分にある場合)。この場合、アルゴリズムは最小二乗と最尤推定の両方に対して反復的です。各反復中、mvregress はそれらの条件付き期待値を使用して欠損応答値を補定します。

データを整理して、欠損応答 $$\tilde{y}$$ と観測された応答 $$y$$ の同時分布を次の形式で記述できるようにします。

$$\left(\begin{array}{l}\tilde{y}\\ y\end{array}\right)\sim MVN\left\{\left(\begin{array}{l}\tilde{X}\beta \\ X\beta \end{array}\right),\left(\begin{array}{cc}{\Sigma }_{\tilde{y}}& {\Sigma }_{\tilde{y}}{}_y\\ {\Sigma }_{y\tilde{y}}& {\Sigma }_y\end{array}\right)\right\}.$$

多変量正規分布の性質を利用すると、観測された応答が与えられた場合、欠損応答の条件付き期待値は次のようになります。

$$\text{E}\left(\tilde{y}|y\right)=\tilde{X}\beta +{\Sigma }_{\tilde{y}y}{\Sigma }_y^{-1}(y-X\beta ).$$

また、条件付き分布の分散共分散行列は次のようになります。

$$\text{COV}(\tilde{y}|y)={\Sigma }_{\tilde{y}}-{\Sigma }_{\tilde{y}y}{\Sigma }_y^{-1}{\Sigma }_{y\tilde{y}}.$$

ECM アルゴリズムの各反復で、mvregress は前回の反復のパラメーター値を使用して次のことを行います。

• 観測された応答の結合ベクトルと欠損応答の条件付き期待値を使用して回帰係数を更新します。

• 条件付き分布の分散共分散行列を使用して、分散共分散行列を更新し、欠損応答に合わせて調整します。

最終的に、欠損応答に対して mvregress から返される残差は、条件付き期待値と近似値間の差異であり、どちらも最終パラメーター推定で評価されます。

欠損応答値をもつ観測を無視する場合は、名前と値のペアの 'algorithm','mvn' を使用します。mvregress では常に、欠損予測子値を含む観測が無視されます。

観測情報行列

既定では、mvregress は観測されたフィッシャー情報行列 ('hessian' オプション) を使用して、回帰パラメーターの分散共分散行列を計算します。この場合、欠損応答値が原因で追加の不確実性が考慮されます。

観測情報行列には、観測された応答のみからの寄与が含まれます。つまり、誤差の分散共分散行列のパラメーターについて、観測値のフィッシャー情報行列には次の要素が含まれます。

$$I{(\theta )}_{u,v}=\frac{1}{2}{\displaystyle \sum _{i=1}^{n}tr\left({\widehat{\Sigma }}_{{}^i\text{}}^{-1}\frac{\partial {\widehat{\Sigma }}_i}{\partial {\theta }_u}{\widehat{\Sigma }}_{{}^i\text{}}^{-1}\text{}\frac{\partial {\widehat{\Sigma }}_i}{\partial {\theta }_v}\right)},u,v=1,\dots ,n_{\theta },$$

ここで、$${\widehat{\Sigma }}_i$$ は $$y_i.$$ の観測された応答に対応する $$\widehat{\Sigma }$$ のサブセットです。

たとえば、d = 3 で $$y_{i2}$$ が欠損している場合、次のようになります。

$${\widehat{\Sigma }}_i=\left(\begin{array}{cc}{\widehat{\sigma }}_1^2& {\widehat{\sigma }}_{13}\\ {\widehat{\sigma }}_{13}& {\widehat{\sigma }}_3^2\end{array}\right).$$

回帰係数についての観測値のフィッシャー情報行列には、計画行列および共分散行列による同様の寄与が含まれます。

参照

[1] Beck, N. and J. N. Katz. "What to Do (and Not to Do) with Time-Series-Cross-Section Data in Comparative Politics." American Political Science Review, Vol. 89, No. 3, pp. 634–647, 1995.

参考

mvregress | mvregresslike

関連する例

• 多変量回帰の問題の設定
• 多変量一般線形モデル
• 同時相関を使用する固定効果のパネル モデル
• 縦方向解析

詳細

• 多変量線形回帰