厳密 GPR 法

ガウス過程回帰 (GPR) モデルの応答 y のインスタンスは、次のようにモデル化できます。

$$P\left(y_i|f\left(x_i\right),x_i\right) ~N\left(y_i|h{\left(x_i\right)}^T\beta +f\left(x_i\right),{\sigma }^2\right)$$

したがって、GPR モデルから新しいデータを予測するには、以下が必要です。

• 固定基底関数の係数ベクトル $$\beta$$ が既知である。

• カーネル パラメーターまたはハイパーパラメーター $$\theta$$ が与えられた場合に、任意の $$x$$ および $$x^{\prime }$$ について共分散関数 $$k\left(x,x^{\prime }|\theta \right)$$ を評価できる。

• 密度 $$P\left(y_i|f\left(x_i\right),x_i\right)$$ に現れるノイズ分散 $${\sigma }^2$$ が既知である。

つまり、はじめにデータ $$\left(X,y\right)$$ から $$\beta$$、$$\theta$$ および $${\sigma }^2$$ を推定する必要があります。

パラメーター推定

GPR モデルのパラメーター $$\beta$$、$$\theta$$ および $${\sigma }^2$$ を推定するアプローチの 1 つに、$$\beta$$、$$\theta$$ および $${\sigma }^2$$ の関数として尤度 $$P\left(y|X\right)$$ を最大化するというものがあります[1]。つまり、$$\widehat{\beta }$$、$$\widehat{\theta }$$ および $${\widehat{\sigma }}^2$$ がそれぞれ $$\beta$$、$$\theta$$ および $${\sigma }^2$$ の推定値である場合、次のようになります。

$$\widehat{\beta },\widehat{\theta },{\widehat{\sigma }}^2=\underset{\beta ,\theta ,{\sigma }^2}{\text{arg max}}\log P\left(y|X,\beta ,\theta ,{\sigma }^2\right).$$

なぜならば

$$P\left(y|X\right)=P\left(y|X,\beta ,\theta ,{\sigma }^2\right)=\mathcal{N}\left(y|H\beta ,K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right),$$

周辺対数尤度関数は、次のようになります。

$$\begin{array}{ll}\log P\left(y|X,\beta ,\theta ,{\sigma }^2\right)=\hfill & -\frac{1}{2}{\left(y-H\beta \right)}^T{\left[K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right]}^{-1}\left(y-H\beta \right)\hfill \\ \hfill & -\frac{n}{2}\log 2\pi -\frac{1}{2}\log \left|K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right|.\hfill \end{array}$$

ここで、$$H$$ は明示的な基底関数のベクトル、$$K\left(X,X|\theta \right)$$ は共分散関数行列です (詳細についてはガウス過程回帰モデルを参照してください)。

パラメーターを推定するため、ソフトウェアは与えられた $$\theta$$ および $${\sigma }^2$$ に対して対数尤度関数を $$\beta$$ に関して最大化する $$\widehat{\beta }\left(\theta ,{\sigma }^2\right)$$ をはじめに計算します。そして、この推定を使用して、$$\beta$$ でプロファイルした尤度を計算します。

$$\log \left\{P\left(y|X,\widehat{\beta }\left(\theta ,{\sigma }^2\right),\theta ,{\sigma }^2\right)\right\}.$$

$$\theta$$ および $${\sigma }^2$$ が与えられた場合、$$\beta$$ の推定値は次のようになります。

$$\widehat{\beta }\left(\theta ,{\sigma }^2\right)={\left[H^T{\left[K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right]}^{-1}H\right]}^{-1}{H}^T{\left[K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right]}^{-1}y.$$

したがって、$$\beta$$ でプロファイルした対数尤度は、次のようになります。

$$\begin{array}{ll}\log P\left(y|X,\widehat{\beta }(\theta ,{\sigma }^2),\theta ,{\sigma }^2\right)=\hfill & -\frac{1}{2}{\left(y-H\widehat{\beta }\left(\theta ,{\sigma }^2\right)\right)}^T{\left[K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right]}^{-1}\left(y-H\widehat{\beta }\left(\theta ,{\sigma }^2\right)\right)\hfill \\ \hfill & -\frac{n}{2}\log 2\pi -\frac{1}{2}\log \left|K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right|\hfill \end{array}$$

そして、ソフトウェアは $$\beta$$ でプロファイルした対数尤度を $$\theta$$ および $${\sigma }^2$$ に対して最大化して推定値を求めます。

予測

既知のパラメーターを使用して GPR モデルから確率的な予測を行うには、密度 $$P\left(y_{new}|y,X,x_{new}\right)$$ が必要です。条件付き確率の定義を使用すると、次のように記述できます。

$$P\left(y_{new}|y,X,x_{new}\right)=\frac{P\left(y_{new},y|X,x_{new}\right)}{P\left(y|X,x_{new}\right)}.$$

分子の同時密度を求めるには、それぞれ $$y_{new}$$ および $$y$$ に対応する潜在的変数 $$f_{new}$$ および $$f$$ を導入する必要があります。すると、$$y_{new}$$、$$y$$、$$f_{new}$$、および $$f$$ の同時分布を使用して $$P\left(y_{new},y|X,x_{new}\right)$$ を計算できます。

$$\begin{array}{l}\begin{array}{ll}P\left(y_{new},y|X,x_{new}\right)\hfill & ={\displaystyle \int {\displaystyle \int P}}\left(y_{new},y,f_{new},f|X,x_{new}\right)dfd{f}_{new}\hfill \\ \hfill & ={\displaystyle \int {\displaystyle \int P}}\left(y_{new},y|f_{new},f,X,x_{new}\right)P\left(f_{new},f|X,x_{new}\right)dfd{f}_{new}.\hfill \end{array}\\ \end{array}$$

ガウス過程モデルでは、対応する潜在的変数 $$f_i$$ および特徴ベクトル $$x_i$$ のみに各応答 $$y_i$$ が依存すると仮定します。$$P\left(y_{new},y|f_{new},f,X,x_{new}\right)$$ を条件付き密度の積として記述し、この仮定に基づくと、次が得られます。

$$\begin{array}{l}P\left(y_{new},y|f_{new},f,X,x_{new}\right)=P\left(y_{new}|f_{new},x_{new}\right){\displaystyle \prod _{i=1}^{n}P}\left(y_i|f\left(x_i\right),x_i\right)\hfill \end{array}.$$

$$y_{new}$$ に関して積分すると、結果は $$f$$ と $$X$$ のみに依存します。

$$\begin{array}{l}P\left(y|f,X\right)={\displaystyle \prod _{i=1}^{n}P}\left(y_i|f_i,x_i\right)={\displaystyle \prod _{i=1}^n\mathcal{N}}\left(y_i{|h\left(x_i\right)}^T\beta +f_i,{\sigma }^2\right)\hfill \end{array}.$$

したがって

$$P\left(y_{new},y|f_{new},f,X,x_{new}\right)=P\left(y_{new}|f_{new},x_{new}\right)P\left(y|f,X\right).$$

条件付き確率の定義を再び使用します。

$$P\left(f_{new},f|X,x_{new}\right)=P\left(f_{new}|f,X,x_{new}\right)*P\left(f|X,x_{new}\right),$$

$$P\left(y_{new},y|X,x_{new}\right)$$ は、次のように記述できます。

$$P\left(y_{new},y|X,x_{new}\right)={\displaystyle \int {\displaystyle \int P}}\left(y_{new}|f_{new},x_{new}\right)P\left(y|f,X\right)P\left(f_{new}|f,X,x_{new}\right)P\left(f|X,x_{new}\right)dfd{f}_{new}.$$

次の事実を使用します。

$$P\left(f|X,x_{new}\right)=P\left(f|X\right)$$

および

$$P\left(y|f,X\right)P\left(f|X\right)=P\left(y,f|X\right)=P\left(f|y,X\right)P\left(y|X\right),$$

すると、$$P\left(y_{new},y|X,x_{new}\right)$$ を次のように書き直すことができます。

$$P\left(y_{new},y|X,x_{new}\right)=P\left(y|X\right){\displaystyle \int {\displaystyle \int P}}\left(y_{new}|f_{new},x_{new}\right)P\left(f|y,X\right)P\left(f_{new}|f,X,x_{new}\right)dfd{f}_{new}.$$

次のように表すこともできます。

$$P\left(y|X,x_{new}\right)=P\left(y|X\right).$$

したがって、必要な密度 $$P\left(y_{new}|y,X,x_{new}\right)$$ は次のようになります。

$$\begin{array}{ll}P\left(y_{new}|y,X,x_{new}\right)\hfill & =\frac{P\left(y_{new},y|X,x_{new}\right)}{P\left(y|X,x_{new}\right)}=\frac{P\left(y_{new},y|X,x_{new}\right)}{P\left(y|X\right)}\hfill \\ \hfill & ={\displaystyle \int {\displaystyle \int \underset{\left(1\right)}{\underbrace{P\left(y_{new}|f_{new},x_{new}\right)}}\underset{\left(2\right)}{\underbrace{P\left(f|y,X\right)}}\underset{\left(3\right)}{\underbrace{P\left(f_{new}|f,X,x_{new}\right)}}dfd{f}_{new}.}}\hfill \end{array}$$

次のように表すことができます。

$$\left(1\right)P\left(y_{new}|f_{new},x_{new}\right)=\mathcal{N}\left(y_{new}|h{(x_{new})}^T\beta +f_{new},{\sigma }_{new}^2\right)$$

$$\left(2\right)P\left(f|y,X\right)=\mathcal{N}\left(f|\frac{1}{{\sigma }^2}{\left(\frac{I_n}{{\sigma }^2}+K{\left(X,X\right)}^{-1}\right)}^{-1}\left(y-H\beta \right),{\left(\frac{I_n}{{\sigma }^2}+K{(X,X)}^{-1}\right)}^{-1}\right)$$

$$\begin{array}{l}\left(3\right)\begin{array}{l}P\left(f_{new}|f,X,x_{new}\right)=\mathcal{N}\left(f_{new}|K\left(x_{new}^T,X\right)K{\left(X,X\right)}^{-1}f,\Delta \right)\hfill \end{array},\\ \text{where}\Delta =k\left(x_{new},x_{new}\right)-K\left(x_{new}^T,X\right)K{\left(X,X\right)}^{-1}K\left(X,x_{new}^T\right).\end{array}$$

積分と必要な代数計算を行うと、$$y$$ と $$X$$ が与えられた場合の新しい点 $$x_{new}$$ における新しい応答 $$y_{new}$$ の密度は次のようになります。

$$P\left(y_{new}|y,X,x_{new}\right)=\mathcal{N}\left(y_{new}|h{(x_{new})}^T\beta +\mu ,{\sigma }_{new}^2+\Sigma \right),$$

ここで

$$\mu =K\left(x_{new}^T,X\right)\underset{\alpha }{\underbrace{{\left(K(X,X)+{\sigma }^2{I}_n\right)}^{-1}\left(y-H\beta \right)}}$$

および

$$\Sigma =k\left(x_{new},x_{new}\right)-K\left(x_{new}^T,X\right){\left(K\left(X,X\right)+{\sigma }^2{I}_n\right)}^{-1}K\left(X,x_{new}^T\right).$$

与えられた $$y$$ および $$X$$ とパラメーター $$\beta$$、$$\theta$$ および $${\sigma }^2$$ に対して、新しい点 $$x_{new}$$ における予測 $$y_{new}$$ の期待値は次のようになります。

$$\begin{array}{ll}E\left(y_{new}|y,X,x_{new},\beta ,\theta ,{\sigma }^2\right)\hfill & =h{\left(x_{new}\right)}^T\beta +K\left(x_{new}^T,X|\theta \right)\alpha \hfill \\ \hfill & =h{\left(x_{new}\right)}^T\beta +{\displaystyle \sum _{i=1}^n{\alpha }_i}k\left(x_{new},x_i|\theta \right),\hfill \end{array}$$

ここで

$$\alpha ={\left(K\left(X,X|\theta \right)+{\sigma }^2{I}_n\right)}^{-1}\left(y-H\beta \right).$$

厳密なパラメーター推定および予測の計算量

(FitMethod が 'Exact' の場合に) 厳密法を使用して GPR モデルに学習をさせるには、n 行 n 列のカーネル行列 $$K\left(X,X\right)$$ の逆行列を計算する必要があります。$$K\left(X,X\right)$$ をメモリに格納しなければならないので、このステップで必要なメモリのスケールは O(n²) です。$$\log P\left(y|X\right)$$ を 1 回評価するスケールは O(n³) です。したがって、計算量は O(kn³) になります。ここで、k は最大化に必要な関数評価の数、n は観測値の数です。

新しいデータの予測には、$$\widehat{\alpha }$$ の計算が含まれます。予測区間が必要な場合、後で使用する $$\left(K\left(X,X\right)+{\sigma }^2{I}_n\right)$$ のコレスキー因子の計算および格納もこのステップに含まれる可能性があります。$$\widehat{\alpha }$$ を直接計算すると、このステップの計算量は O(n³) になり、O(n²) のメモリが必要になります。

したがって、n が大きい場合、パラメーターの推定または予測の計算には非常に時間がかかる可能性があります。通常、近似法では、n 行 n 列の行列の逆行列を計算しないように計算を再編成します。使用可能な近似法については、ページの最後にある関連リンクを参照してください。

参照

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

参考

fitrgp | predict

関連するトピック

• ガウス過程回帰モデル
• GPR モデルのデータ サブセット近似
• GPR モデルの回帰変数サブセット近似
• GPR モデルの完全独立条件近似
• GPR モデルのブロック座標降下近似