GPR モデルの完全独立条件近似

R2026b

完全独立条件 (FIC) 近似[1]は、有効なガウス過程を維持したままSR 近似の予測分散の問題を回避するように、適切な GPR カーネル関数を体系的に近似計算する方法です。パラメーター推定に FIC 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'FitMethod','fic' を使用します。予測に FIC 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'PredictMethod','fic' を使用します。

カーネル関数の近似

アクティブ セット $$\mathcal{A}\subset \mathcal{N}=\left\{1,2,\mathrm{...},n\right\}$$ に対する $$k\left(x_i,x_j|\theta \right)$$ の FIC 近似は、次により与えられます。

$$\begin{array}{l}{\widehat{k}}_{FIC}\left(x_i,x_j|\theta ,\mathcal{A}\right)={\widehat{k}}_{SR}\left(x_i,x_j|\theta ,\mathcal{A}\right)+{\delta }_{ij}\left(k\left(x_i,x_j|\theta \right)-{\widehat{k}}_{SR}\left(x_i,x_j|\theta ,\mathcal{A}\right)\right),\\ {\delta }_{ij}=\{\begin{array}{ll}1,\hfill & \text{if}i=j,\hfill \\ 0\hfill & \text{if}i\ne j.\hfill \end{array}\end{array}$$

つまり、$$i\ne j$$ の場合、FIC 近似は SR 近似と等しくなります。$$i=j$$ の場合、ソフトウェアは近似値ではなく厳密なカーネル値を使用します。n 行 n 列の対角行列 $$\Omega \left(X|\theta ,\mathcal{A}\right)$$ を次のように定義します。

$$\begin{array}{ll}{\left[\Omega \left(X|\theta ,\mathcal{A}\right)\right]}_{ij}\hfill & ={\delta }_{ij}\left(k\left(x_i,x_j|\theta \right)-{\widehat{k}}_{SR}\left(x_i,x_j|\theta ,\mathcal{A}\right)\right)\hfill \\ \hfill & =\{\begin{array}{ll}k\left(x_i,x_j|\theta \right)-{\widehat{k}}_{SR}\left(x_i,x_j|\theta ,\mathcal{A}\right)\hfill & \text{if}i=j,\hfill \\ 0\hfill & \text{if}i\ne j.\hfill \end{array}\hfill \end{array}$$

すると、$$K\left(X,X|\theta \right)$$ の FIC 近似は次により与えられます。

$$\begin{array}{ll}{\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)\hfill & ={\widehat{K}}_{SR}\left(X,X|\theta ,\mathcal{A}\right)+\Omega \left(X|\theta ,\mathcal{A}\right)\hfill \\ \hfill & =K\left(X,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)+\Omega \left(X|\theta ,\mathcal{A}\right).\hfill \end{array}$$

パラメーター推定

周辺対数尤度関数の $$K\left(X,X|\theta \right)$$ を $${\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)$$ に置き換えると、FIC 近似が得られます。

$$\begin{array}{ll}\log P_{FIC}\left(y|X,\beta ,\theta ,{\sigma }^2,\mathcal{A}\right)=\hfill & -\frac{1}{2}{\left(y-H\beta \right)}^T{\left[{\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right]}^{-1}\left(y-H\beta \right)\hfill \\ \hfill & -\frac{N}{2}\log 2\pi -\frac{1}{2}\log \left|{\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n\right|.\hfill \end{array}$$

厳密法の場合と同じように、ソフトウェアは与えられた $$\theta$$ および $${\sigma }^2$$ に対して $$\beta$$ の最適な推定である $$\widehat{\beta }\left(\theta ,{\sigma }^2\right)$$ をはじめに計算することによりパラメーターを推定します。そして、$$\beta$$ でプロファイルした周辺対数尤度を使用して $$\theta$$ と $${\sigma }^2$$ を推定します。与えられた $$\theta$$ および $${\sigma }^2$$ に対する $$\beta$$ の FIC 推定は、次のようになります。

$${\widehat{\beta }}_{FIC}\left(\theta ,{\sigma }^2,\mathcal{A}\right)={\left[\underset{*}{\underbrace{H^T{\left({\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}H}}\right]}^{-1}\underset{**}{\underbrace{H^T{\left({\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}y}},$$

$$\begin{array}{l}*=H^T\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}H-H^T\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}K\left(X,X_{\mathcal{A}}|\theta \right)B_{\mathcal{A}}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}H,\\ **=H^T\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}y-H^T\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}K\left(X,X_{\mathcal{A}}|\theta \right)B_{\mathcal{A}}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}y,\\ B_{\mathcal{A}}=K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}K\left(X,X_{\mathcal{A}}|\theta \right),\\ \Lambda \left(\theta ,{\sigma }^2,\mathcal{A}\right)=\Omega \left(X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n.\end{array}$$

$${\widehat{\beta }}_{FIC}\left(\theta ,{\sigma }^2,\mathcal{A}\right)$$ を使用すると、$$\beta$$ でプロファイルした周辺対数尤度は、FIC 近似では次のようになります。

$$\begin{array}{l}\log P_{FIC}\left(y|X,{\widehat{\beta }}_{FIC}\left(\theta ,{\sigma }^2,\mathcal{A}\right),\theta ,{\sigma }^2,\mathcal{A}\right)=\\ \begin{array}{ll}\hfill & -\frac{1}{2}{\left(y-H{\widehat{\beta }}_{FIC}\left(\theta ,{\sigma }^2,\mathcal{A}\right)\right)}^T{\left({\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}\left(y-H{\widehat{\beta }}_{FIC}\left(\theta ,{\sigma }^2,\mathcal{A}\right)\right)\hfill \\ \hfill & -\frac{N}{2}\log 2\pi -\frac{1}{2}\log \left|{\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right|,\hfill \end{array}\end{array}$$

ここで

$$\begin{array}{l}{\left({\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right)}^{-1}\\ =\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}-\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}K\left(X,X_{\mathcal{A}}|\theta \right)B_{\mathcal{A}}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1},\\ \log \left|{\widehat{K}}_{FIC}\left(X,X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_N\right|=\log \left|\Lambda \left(\theta ,{\sigma }^2,\mathcal{A}\right)\right|+\log \left|B_{\mathcal{A}}\right|-\log \left|K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)\right|.\end{array}$$

予測

与えられた $$y$$、$$X$$ および $$x_{new}$$ に対する $$y_{new}$$ の分布の FIC 近似は、次のようになります。

$$\begin{array}{ll}P\left(y_{new}|y,X,x_{new}\right)\hfill & =\mathcal{N}\left(y_{new}|h{\left(x_{new}\right)}^T\beta +{\mu }_{FIC},{\sigma }_{new}^2+{\Sigma }_{FIC}\right)\hfill \end{array},$$

ここで $${\mu }_{FIC}$$ と $${\Sigma }_{FIC}$$ は、厳密 GPR 法を使用する予測で与えられる $$\mu$$ と $$\Sigma$$ の FIC 近似です。SR の場合と同じように、$${\mu }_{FIC}$$ と $${\Sigma }_{FIC}$$ は真のカーネルをすべて FIC 近似に置き換えることにより得られます。$${\mu }_{FIC}$$ と $${\Sigma }_{FIC}$$ の最終的な形式は、次のようになります。

$${\mu }_{FIC}=K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)B_{\mathcal{A}}^{-1}K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}\left(y-H\beta \right),$$

$$\begin{array}{ll}{\Sigma }_{FIC}\hfill & =k\left(x_{new},x_{new}|\theta \right)-K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)K{\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)}^{-1}K\left(X_{\mathcal{A}},x_{new}^T|\theta \right)\hfill \\ \hfill & +K\left(x_{new}^T,X_{\mathcal{A}}|\theta \right)B_{\mathcal{A}}^{-1}K\left(X_{\mathcal{A}},x_{new}^T|\theta \right),\hfill \end{array}$$

ここで

$$\begin{array}{l}{B}_{\mathcal{A}}=K\left(X_{\mathcal{A}},X_{\mathcal{A}}|\theta \right)+K\left(X_{\mathcal{A}},X|\theta \right)\Lambda {\left(\theta ,{\sigma }^2,\mathcal{A}\right)}^{-1}K\left(X,X_{\mathcal{A}}|\theta \right),\\ \Lambda \left(\theta ,{\sigma }^2,\mathcal{A}\right)=\Omega \left(X|\theta ,\mathcal{A}\right)+{\sigma }^2{I}_n.\end{array}$$

参照

[1] Candela, J. Q. "A Unifying View of Sparse Approximate Gaussian Process Regression." Journal of Machine Learning Research. Vol 6, pp. 1939–1959, 2005.

参考

fitrgp | predict

トピック

• ガウス過程回帰モデル
• 厳密 GPR 法
• GPR モデルのデータ サブセット近似
• GPR モデルの回帰変数サブセット近似
• GPR モデルのブロック座標降下近似