GPR モデルの回帰変数サブセット近似

R2026b

回帰変数サブセット (SR) 近似法では、厳密 GPR 法のカーネル関数 $$k\left(x,x_r|\theta \right)$$ を、与えられたアクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ に対する近似 $${\widehat{k}}_{SR}\left(x,x_r|\theta ,\mathcal{A}\right)$$ に置き換えます。パラメーター推定に SR 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'FitMethod','sr' を使用します。予測に SR 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'PredictMethod','sr' を使用します。

カーネル関数の近似

厳密 GPR モデルの場合、GPR で起こり得る予測は $$\mathcal{N}$$ 個の一連の関数 $${\mathcal{S}}_{\mathcal{N}}=\left\{k\left(x,x_i|\theta \right),i=1,2,\dots ,n\right\}$$ に依存します。ここで、$$\mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ はすべての観測値に対応する一連のインデックス、n は観測値の総数です。考え方は、より小さい関数のセット $${\mathcal{S}}_{\mathcal{A}}$$ によってこれらの範囲の関数を近似する、というものです。ここで $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ は、アクティブ セットとして選択する、点のインデックスのサブセットです。$${\mathcal{S}}_{\mathcal{A}}=\left\{k\left(x,x_j|\theta \right),j\in \mathcal{A}\right\}$$ を考えます。目的は、$${\mathcal{S}}_{\mathcal{N}}$$ の要素を $${\mathcal{S}}_{\mathcal{A}}$$ の要素の線形結合として近似することです。

$${\mathcal{S}}_{\mathcal{A}}$$ の関数を使用した $$k\left(x,x_r|\theta \right)$$ に対する近似を次のように仮定します。

$$\widehat{k}\left(x,x_r|\theta \right)={\displaystyle \sum _{j\in \mathcal{A}}{c}_{jr}}k\left(x,x_j|\theta \right),$$

ここで、$$c_{jr}\in ℝ$$ は $$k\left(x,x_r|\theta \right)$$ を近似するための線形結合の係数です。$$C$$ という行列にすべての係数 $$c_{jr}$$ が含まれていると仮定します。すると、$$C$$ は $$C(j,r)=c_{jr}$$ となる $$\left|\mathcal{A}\right|\times n$$ の行列になります。ソフトウェアは、次の誤差関数を最小化することにより、アクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ を使用して $${\mathcal{S}}_{\mathcal{N}}$$ の要素に対する最適な近似を求めます。

$$E\left(\mathcal{A},C\right)={\displaystyle \sum _{r=1}^n{\Vert k\left(x,x_r|\theta \right)-\widehat{k}\left(x,x_r|\theta \right)\Vert }_{\mathscr{H}}^2},$$

ここで $$\mathscr{H}$$ は、カーネル関数 k に関連付けられた再生カーネル ヒルベルト空間 (RKHS) です[1]、[2]。

$$E\left(\mathcal{A},C\right)$$ を最小化する係数行列は、次のようになります。

$${\widehat{C}}_{\mathcal{A}}=K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},X|\theta \right),$$

アクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ の要素を使用してカーネル関数を近似すると、次のようになります。

$$\widehat{k}\left(x,x_r|\theta \right)={\displaystyle \sum _{j\in \mathcal{A}}{c}_{jr}}k\left(x,x_j|\theta \right)=K\left(x^T,X_{\mathcal{A}}|\theta \right)C\left(:,r\right).$$

アクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ を使用するカーネル関数の SR 近似は、次のように定義されます。

$${\widehat{k}}_{SR}\left(x,x_r|\theta ,\mathcal{A}\right)=K\left(x^T,X_{\mathcal{A}}|\theta \right){\widehat{C}}_{\mathcal{A}}(:,r)=K\left(x^T,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},x_r^T|\theta \right)$$

$$K\left(X,X|\theta \right)$$ の SR 近似は次のようになります。

$${\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)=K\left(X,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},X|\theta \right).$$

パラメーター推定

周辺対数尤度関数の $$K\left(X,X|\theta \right)$$ を $${\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)$$ に置き換えると、SR 近似が得られます。

$$\begin{array}{ll}\log P_{SR}\left(y|X,\beta ,\theta ,{\sigma }^2,\mathcal{A}\right)=\hfill & -\frac{1}{2}{\left(y-H\beta \right)}^T{\left[{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}\left(y-H\beta \right)\hfill \\ \hfill & -\frac{N}{2}\log 2\pi -\frac{1}{2}\log \left|{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right|\hfill \end{array}$$

厳密法の場合と同じように、ソフトウェアは与えられた $$\theta$$ および $${\sigma }^2$$ に対して $$\beta$$ の最適な推定である $$\widehat{\beta }\left(\theta ,{\sigma }^2\right)$$ をはじめに計算することによりパラメーターを推定します。そして、$$\beta$$ でプロファイルした周辺対数尤度を使用して $$\theta$$ と $${\sigma }^2$$ を推定します。与えられた $$\theta$$ および $${\sigma }^2$$ に対する $$\beta$$ の SR 推定は、次のようになります。

$${\widehat{\beta }}_{SR}\left(\theta ,{\sigma }^2,\mathcal{A}\right)={\left[\underset{*}{\underbrace{H^T{\left[{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}H}}\right]}^{-1}\underset{**}{\underbrace{H^T{\left[{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}y}},$$

ここで

$$\begin{array}{l}{\left[{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}=\frac{I_N}{{\sigma }^2}-\frac{K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}{A}_{\mathcal{A}}^{-1}\frac{K\left(X_{\mathcal{A}},X|\theta \right)}{{\sigma }^2},\\ A_{\mathcal{A}}=K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+\frac{K\left(X_{\mathcal{A}},X|\theta \right)K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2},\\ *=\frac{H^{T}H}{{\sigma }^2}-\frac{H^{T}K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}{A}_{\mathcal{A}}^{-1}\frac{K\left(X_{\mathcal{A}},X|\theta \right)H}{{\sigma }^2},\\ **=\frac{H^{T}y}{{\sigma }^2}-\frac{H^{T}K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}{A}_{\mathcal{A}}^{-1}\frac{K\left(X_{\mathcal{A}},X|\theta \right)y}{{\sigma }^2}.\end{array}$$

$$\beta$$ でプロファイルした周辺対数尤度に対する SR 近似は、次のようになります。

$$\begin{array}{l}\log P_{SR}\left(y|X,{\widehat{\beta }}_{SR}\left(\theta ,{\sigma }^2,\mathcal{A}\right),\theta ,{\sigma }^2,\mathcal{A}\right)=\\ \begin{array}{ll}\hfill & -\frac{1}{2}{\left(y-H{\widehat{\beta }}_{SR}\left(\theta ,{\sigma }^2,\mathcal{A}\right)\right)}^T{\left[{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}\left(y-H{\widehat{\beta }}_{SR}\left(\theta ,{\sigma }^2,\mathcal{A}\right)\right)\hfill \\ \hfill & -\frac{N}{2}\log 2\pi -\frac{1}{2}\log \left|{\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right|.\hfill \end{array}\end{array}$$

予測

与えられた $$y$$、$$X$$ および $$x_{new}$$ に対する $$y_{new}$$ の分布の SR 近似は、次のようになります。

$$P\left(y_{new}|y,X,x_{new}\right)=\mathcal{N}\left(y_{new}|h{\left(x_{new}\right)}^T\beta +{\mu }_{SR},{\sigma }_{new}^2+{\Sigma }_{SR}\right),$$

ここで $${\mu }_{SR}$$ と $${\Sigma }_{SR}$$ は、厳密 GPR モデルの使用による予測で示されている $$\mu$$ と $$\Sigma$$ の SR 近似です。

$${\mu }_{SR}$$ と $${\Sigma }_{SR}$$ は、$$k\left(x,x_r|\theta \right)$$ をそれぞれ $$\mu$$ と $$\Sigma$$ における SR 近似 $${\widehat{k}}_{SR}\left(x,x_r|\theta ,\mathcal{A}\right)$$ に置き換えることにより得られます。

つまり、

$${\mu }_{SR}=\underset{\left(1\right)}{\underbrace{{\widehat{K}}_{SR}\left(x_{new}^T,X|\theta ,\mathcal{A}\right)}}\underset{\left(2\right)}{\underbrace{{\left({\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}}}\left(y-H\beta \right).$$

なぜならば

$$\begin{array}{l}\left(1\right)=K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)\hfill \end{array},$$

$$\left(2\right)=\frac{I_N}{{\sigma }^2}-\frac{K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}{\left[K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+\frac{K\left(X_{\mathcal{A}},X|\theta \right)K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}\right]}^{-1}\frac{K\left(X_{\mathcal{A}},X|\theta \right)}{{\sigma }^2},$$

$$I_N-B{\left(A+B\right)}^{-1}=A{\left(A+B\right)}^{-1}$$ なので、$${\mu }_{SR}$$ は次のように記述できます。

$$\begin{array}{ll}{\mu }_{SR}\hfill & =K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right){\left[K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+\frac{K\left(X_{\mathcal{A}},X|\theta \right)K\left(X,X_{\mathcal{A}}|\theta \right)}{{\sigma }^2}\right]}^{-1}\frac{K\left(X_{\mathcal{A}},X|\theta \right)}{{\sigma }^2}\left(y-H\beta \right)\hfill \end{array}.$$

同様に、$${\Sigma }_{SR}$$ は次のように導かれます。

$${\Sigma }_{SR}=\underset{*}{\underbrace{{\widehat{k}}_{SR}\left(x_{new},x_{new}|\theta ,\mathcal{A}\right)}}-\underset{**}{\underbrace{{\widehat{K}}_{SR}\left(x_{new}^T,X|\theta ,\mathcal{A}\right)}}\underset{***}{\underbrace{{\left({\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}}}\underset{****}{\underbrace{{\widehat{K}}_{SR}\left(X,x_{new}^T|\theta ,\mathcal{A}\right)}}.$$

なぜならば

$$*\text{ = }K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},x_{new}^T|\theta \right),$$

$$\begin{array}{l}**=K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},X|\theta \right),\\ ***=\left(2\right)\text{ in the equation of }{\mu }_{SR},\end{array}$$

$$****=K\left(X,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},x_{new}^T|\theta \right),$$

$${\Sigma }_{SR}$$ は次のように求められます。

$${\sum }_{SR}=K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right){\left[K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+\frac{K\left(X_{\mathcal{A}},X|\theta \right)K\left(X,X_{\mathcal{A}}|\theta \right))}{{\sigma }^2}\right]}^{-1}K\left(X_{\mathcal{A}},x_{new}^T|\theta \right).$$

予測分散の問題

SR 法の欠点の 1 つは、選択したアクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ から大きく離れた領域で予測を行うと予測分散が不当に小さくなる可能性がある、ということです。学習セット $$X$$ から大きく離れている新しい点 $$x_{new}$$ で予測を行うとします。つまり、$$K\left(x_{new}^T,X|\theta \right)\approx 0$$ であると仮定します。

厳密 GPR の場合、与えられた $$y$$、$$X$$ および $$x_{new}$$ に対する $$f_{new}$$ の事後分布は、平均が $$\mu =0$$、分散が $$\Sigma =k\left(x_{new},x_{new}|\theta \right)$$ の正規分布になります。この値は、$$x_{new}$$ が $$X$$ から離れている場合、データ $$\left(X,y\right)$$ は $$f_{new}$$ に関する新しい情報を提供しないので、与えられた $$y$$、$$X$$ および $$x_{new}$$ に対する $$f_{new}$$ の事後分布は、与えられた $$x_{new}$$ に対する事前分布 $$f_{new}$$ (平均が $$0$$、分散が $$k\left(x_{new},x_{new}|\theta \right)$$ の正規分布) に帰着するはずである、という意味で正確です。

SR 近似の場合、$$x_{new}$$ が $$X$$ から離れていると (したがって $$X_{\mathcal{A}}$$ からも離れていると)、$${\mu }_{SR}=0$$ および $${\Sigma }_{SR}=0$$ になります。したがって、この極端なケースでは、$${\mu }_{SR}$$ は厳密 GPR の $$\mu$$ に一致しますが、$${\Sigma }_{SR}$$ は厳密 GPR の $$\Sigma$$ と比較して不当に小さくなります。

完全独立条件近似法は、この問題を回避するために役立てることができます。

参照

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

[2] Smola, A. J. and B. Schökopf. "Sparse greedy matrix approximation for machine learning." In Proceedings of the Seventeenth International Conference on Machine Learning, 2000.

参考

fitrgp | predict

トピック

• ガウス過程回帰モデル
• 厳密 GPR 法
• GPR モデルのデータ サブセット近似
• GPR モデルの完全独立条件近似
• GPR モデルのブロック座標降下近似