GPR モデルの完全独立条件近似

完全独立条件 (FIC) 近似 [1] は、有効なガウス過程を維持したままSR 近似の予測分散の問題を回避するように、適切な GPR カーネル関数を体系的に近似計算する方法です。パラメーター推定に FIC 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'FitMethod','fic' を使用します。予測に FIC 法を指定するには、fitrgp を呼び出すときに名前と値のペアの引数 'PredictMethod','fic' を使用します。

カーネル関数の近似

アクティブセット $A \subset N = {1, 2, ..., n}$ に対する $k (x_{i}, x_{j} | θ)$ の FIC 近似は、次により与えられます。

$\begin{array}{l} {\hat{k}}_{F I C} (x_{i}, x_{j} | θ, A) = {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) + δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)), \\ δ_{i j} = {\begin{array}{l} 1, & if i = j, \\ 0 & if i \neq j . \end{array} \end{array}$

つまり、 $i \neq j$ の場合、FIC 近似は SR 近似と等しくなります。 $i = j$ の場合、ソフトウェアは近似値ではなく厳密なカーネル値を使用します。n 行 n 列の対角行列 $Ω (X | θ, A)$ を次のように定義します。

$\begin{array}{l} {[Ω (X | θ, A)]}_{i j} & = δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)) \\ = {\begin{array}{l} k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) & if i = j, \\ 0 & if i \neq j . \end{array} \end{array}$

すると、 $K (X, X | θ)$ の FIC 近似は次により与えられます。

$\begin{array}{l} {\hat{K}}_{F I C} (X, X | θ, A) & = {\hat{K}}_{S R} (X, X | θ, A) + Ω (X | θ, A) \\ = K (X, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ) + Ω (X | θ, A) . \end{array}$

パラメーター推定

周辺対数尤度関数の $K (X, X | θ)$ を ${\hat{K}}_{F I C} (X, X | θ, A)$ に置き換えると、FIC 近似が得られます。

$\begin{array}{l} \log P_{F I C} (y | X, β, θ, σ^{2}, A) = & - \frac{1}{2} {(y - H β)}^{T} {[{\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} (y - H β) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n} | . \end{array}$

厳密法の場合と同じように、ソフトウェアは与えられた $θ$ および $σ^{2}$ に対して $β$ の最適な推定である $\hat{β} (θ, σ^{2})$ をはじめに計算することによりパラメーターを推定します。そして、 $β$ でプロファイルした周辺対数尤度を使用して $θ$ と $σ^{2}$ を推定します。与えられた $θ$ および $σ^{2}$ に対する $β$ の FIC 推定は、次のようになります。

${\hat{β}}_{F I C} (θ, σ^{2}, A) = {[\underset{*}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} H}}]}^{- 1} \underset{* *}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} y}},$

$\begin{array}{l} * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} H - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} H, \\ * * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} y - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} y, \\ B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

${\hat{β}}_{F I C} (θ, σ^{2}, A)$ を使用すると、 $β$ でプロファイルした周辺対数尤度は、FIC 近似では次のようになります。

$\begin{array}{l} \log P_{F I C} (y | X, {\hat{β}}_{F I C} (θ, σ^{2}, A), θ, σ^{2}, A) = \\ \begin{array}{l} - \frac{1}{2} {(y - H {\hat{β}}_{F I C} (θ, σ^{2}, A))}^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} (y - H {\hat{β}}_{F I C} (θ, σ^{2}, A)) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} |, \end{array} \end{array}$

ここで

$\begin{array}{l} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} \\ = Λ {(θ, σ^{2}, A)}^{- 1} - Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1}, \\ \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} | = \log | Λ (θ, σ^{2}, A) | + \log | B_{A} | - \log | K (X_{A}, X_{A} | θ) | . \end{array}$

予測

与えられた $y$ 、 $X$ および $x_{n e w}$ に対する $y_{n e w}$ の分布の FIC 近似は、次のようになります。

$\begin{array}{l} P (y_{n e w} | y, X, x_{n e w}) & = N (y_{n e w} | h {(x_{n e w})}^{T} β + μ_{F I C}, σ_{n e w}^{2} + Σ_{F I C}) \end{array},$

ここで $μ_{F I C}$ と $Σ_{F I C}$ は、厳密 GPR 法を使用する予測で与えられる $μ$ と $Σ$ の FIC 近似です。SR の場合と同じように、 $μ_{F I C}$ と $Σ_{F I C}$ は真のカーネルをすべて FIC 近似に置き換えることにより得られます。 $μ_{F I C}$ と $Σ_{F I C}$ の最終的な形式は、次のようになります。

$μ_{F I C} = K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} (y - H β),$

$\begin{array}{l} Σ_{F I C} & = k (x_{n e w}, x_{n e w} | θ) - K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{n e w}^{T} | θ) \\ + K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, x_{n e w}^{T} | θ), \end{array}$

ここで

$\begin{array}{l} B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

参照

[1] Candela, J. Q. "A Unifying View of Sparse Approximate Gaussian Process Regression." Journal of Machine Learning Research. Vol 6, pp. 1939–1959, 2005.

参考

fitrgp | predict