線形回帰

線形回帰とは

線形回帰は、連続的な応答変数を 1 つ以上の予測子の関数として表現するために用いる統計的モデリング手法です。複雑なシステムの動作の理解や予測、実験データ、財務データ、生物学的データの分析に役立ちます。

線形回帰手法は、線形モデルの構築に用いられます。このモデルは、従属変数 \(y\) (応答) と、1 つ以上の独立変数 \(X_i\) (予測子) との関係をを表しています。線形回帰モデルの一般方程式は次のとおりです。

\[Y = \beta_0 + \sum \ \beta_k X_k + \epsilon_i\]

ここで、\(\beta\) は計算される線形パラメーター推定値を表し、\(\epsilon\) は誤差項を表します。

線形回帰の種類

単純線形回帰 (1 つの予測子のみを使用するモデル): 一般方程式は次のとおりです。

\[Y = \beta_0 + \beta_1 X+ \epsilon\]

多重線形回帰 (複数の予測子を使用するモデル): この回帰は、複数の \(X_i\) を使用して応答 \(Y\) を予測します。この方程式の例は、次のとおりです。

\[Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2+ \epsilon\]

多変量線形回帰 (複数の応答変数のモデル): この回帰は、同一のデータ \(X\) から複数の \(Y_i\) が導出されます。これらは異なる式で表現されます。2 つの方程式で表現した系の例は、次のとおりです。

\[Y_1 = \beta_{01} + \beta_{11} X_1 + \epsilon_1\]

\[Y_2 = \beta_{02} + \beta_{1 2}X_1 + \epsilon_2\]

多変量多重線形回帰 (複数の応答変数に対して複数の予測子を使用するモデル): この回帰は、複数の \(X_i\) から複数の応答 \(Y_i\) を予測します。一般方程式は、次のとおりです。

線形回帰の用途

線形回帰は、次の用途において非常に興味深い特性を有しています。

• 予測や将来予測: 回帰モデルを使用して、特定のデータセット向けに予測モデルを構築できます。このモデルを使えば、予測子しか分かっていない場合でも、回帰を用いて応答値を予測できます。
• 回帰の強さ: 回帰モデルを用いることで、変数と予測子の間に関係性があるかや、その関係の強さを判断できます。

MATLAB を使用した線形回帰

MATLAB は、エンジニアが単純線形回帰モデルを作成する際によく利用されています。多重線形回帰や多変量線形回帰には、MATLAB の Statistics and Machine Learning Toolbox™ を使用することができます。このツールボックスでは、ステップワイズ回帰、ロバスト回帰、多変量回帰などの手法を用いて、以下のことが可能です。

• 予測の生成
• 線形モデルの適合度の比較
• 残差のプロット
• 適合度の評価
• 外れ値の検出

データに曲線や曲面を近似させる線形モデルを作成するには、Curve Fitting Toolbox™ を参照してください。