カーネル (共分散) 関数のオプション

教師あり学習では、予測子の値 $$x_i$$ が近い点は必然的に応答 (ターゲット) の値 $$y_i$$ が近くなることが予想されます。ガウス過程では、共分散関数がこの類似性を表します。[1]共分散関数は、2 つの潜在的変数 $$f\left(x_i\right)$$ および $$f\left(x_j\right)$$ の間の共分散を指定します。ここで、$$x_i$$ と $$x_j$$ はどちらも d 行 1 列のベクトルです。言い換えると、ある点 $$x_i$$ における応答に対して別の点 $$x_j$$ における応答がどのような影響を与えるかを決定します。ここで、i ≠ j および i = 1, 2, ..., n です。共分散関数 $$k\left(x_i,x_j\right)$$ は、各種のカーネル関数によって定義できます。そして、ベクトル $$\theta$$ に含まれているカーネル パラメーターに関してパラメーター表現できます。したがって、共分散関数は $$k\left(x_i,x_j|\theta \right)$$ と表すことができます。

多くの標準的なカーネル関数で、カーネル パラメーターは信号標準偏差 $${\sigma }_f$$ と特性長スケール $${\sigma }_l$$ に基づきます。特性長スケールは、入力値 $$x_i$$ がどのくらい応答値から離れると無相関になるかを簡潔に定義します。$${\sigma }_l$$ と $${\sigma }_f$$ は、どちらも 0 より大きい必要があります。これは、次のように制約のないパラメーター ベクトル $$\theta$$ によって強制できます。

$${\theta }_1=\log {\sigma }_l,{\theta }_2=\log {\sigma }_f.$$

"各予測子について同じ特性長スケールをもつ" 組み込みカーネル (共分散) 関数には、次のようなものがあります。

• 二乗指数カーネル

  これは最も一般的に使用される共分散関数の 1 つで、fitrgp の既定オプションです。二乗指数カーネル関数は、次のように定義されます。

  $$k\left(x_i,x_j|\theta \right)={\sigma }_f^2\text{exp}\left[-\frac{1}{2}\frac{{(x_i-x_j)}^T(x_i-x_j)}{{\sigma }_l^2}\right].$$

  ここで、$${\sigma }_l$$ は特性長スケール、$${\sigma }_f$$ は信号標準偏差です。

• 指数カーネル

  指数カーネル関数は、名前と値のペアの引数 'KernelFunction','exponential' を使用して指定できます。この共分散関数は次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2\exp \left(-\frac{r}{{\sigma }_l}\right),$$

  ここで、$${\sigma }_l$$ は特性長スケール、

  $$\begin{array}{l}r=\sqrt{{(x_i-x_j)}^T(x_i-x_j)}\hfill \end{array}$$

  は $$x_i$$ と $$x_j$$ の間のユークリッド距離です。

• Matern 3/2

  Matern 3/2 カーネル関数は、名前と値のペアの引数 'KernelFunction','matern32' を使用して指定できます。この共分散関数は次のように定義されます。

  $$\begin{array}{l}k(x_i,x_j|\theta )={\sigma }_f^2\left(1+\frac{\sqrt{3}r}{{\sigma }_l}\right)\text{exp}\left(-\frac{\sqrt{3}r}{{\sigma }_l}\right)\hfill \end{array},$$

  ここで、次のようになります。

  $$\begin{array}{l}r=\sqrt{{(x_i-x_j)}^T(x_i-x_j)}\hfill \end{array}$$

  これは、$$x_i$$ と $$x_j$$ の間のユークリッド距離です。

• Matern 5/2

  Matern 5/2 カーネル関数は、名前と値のペアの引数 'KernelFunction','matern52' を使用して指定できます。Matern 5/2 共分散関数は次のように定義されます。

  $$\begin{array}{l}k(x_i,x_j)={\sigma }_f^2\left(1+\frac{\sqrt{5}r}{{\sigma }_l}+\frac{5r^2}{3{\sigma }_l^2}\right)\text{exp}\left(-\frac{\sqrt{5}r}{{\sigma }_l}\right)\hfill \end{array},$$

  ここで、次のようになります。

  $$\begin{array}{l}r=\sqrt{{(x_i-x_j)}^T(x_i-x_j)}\hfill \end{array}$$

  これは、$$x_i$$ と $$x_j$$ の間のユークリッド距離です。

• 有理二次カーネル

  有理二次カーネル関数は、名前と値のペアの引数 'KernelFunction','rationalquadratic' を使用して指定できます。この共分散関数は次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2{\left(1+\frac{r^2}{2\alpha {\sigma }_l^2}\right)}^{-\alpha },$$

  ここで、$${\sigma }_l$$ は特性長スケール、$$\alpha$$ は正の値のスケール混合パラメーター、

  $$\begin{array}{l}r=\sqrt{{(x_i-x_j)}^T(x_i-x_j)}\hfill \end{array}$$

  は $$x_i$$ と $$x_j$$ の間のユークリッド距離です。

各予測子 m について別々の特性長スケール $${\sigma }_m^{}$$ を使用できます (m = 1, 2, ...,d)。各予測子について特性長スケールが異なる組み込みカーネル (共分散) 関数は、関連度自動決定 (ARD) [2]を実装します。この場合、制約のないパラメーター表現 $$\theta$$ は次のようになります。

$$\begin{array}{l}{\theta }_m=\log {\sigma }_m,\text{for}m=1,2,\mathrm{...},d\\ {\theta }_{d+1}=\log {\sigma }_f.\end{array}$$

"各予測子について異なる特性長スケールをもつ" 組み込みカーネル (共分散) 関数には、次のようなものがあります。

• ARD 二乗指数カーネル

  このカーネル関数は、名前と値のペアの引数 'KernelFunction','ardsquaredexponential' を使用して指定できます。この共分散関数は、各予測子について特性長スケールが異なる二乗指数カーネル関数です。これは、次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2\text{exp}\left[-\frac{1}{2}{\displaystyle \sum _{m=1}^d\frac{{(x_{im}-x_{jm})}^2}{{\sigma }_m^2}}\right].$$

• ARD 指数カーネル

  このカーネル関数は、名前と値のペアの引数 'KernelFunction','ardexponential' を使用して指定できます。この共分散関数は、各予測子について特性長スケールが異なる指数カーネル関数です。これは次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2\exp \left(-r\right),$$

  ここで

  $$r=\sqrt{{\displaystyle \sum _{m=1}^d\frac{{(x_{im}-x_{jm})}^2}{{\sigma }_m^2}}}.$$

• ARD Matern 3/2

  このカーネル関数は、名前と値のペアの引数 'KernelFunction','ardmatern32' を使用して指定できます。この共分散関数は、各予測子について特性長スケールが異なる Matern 3/2 カーネル関数です。これは、次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2\left(1+\sqrt{3}r\right)\text{exp}\left(-\sqrt{3}r\right),$$

  ここで、次のようになります。

  $$r=\sqrt{{\displaystyle \sum _{m=1}^d\frac{{(x_{im}-x_{jm})}^2}{{\sigma }_m^2}}}.$$

• ARD Matern 5/2

  このカーネル関数は、名前と値のペアの引数 'KernelFunction','ardmatern52' を使用して指定できます。この共分散関数は、各予測子について特性長スケールが異なる Matern 5/2 カーネル関数です。これは、次のように定義されます。

  $$\begin{array}{l}k(x_i,x_j|\theta )={\sigma }_f^2\left(1+\sqrt{5}r+\frac{5}{3}{r}^2\right)\text{exp}\left(-\sqrt{5}r\right)\hfill \end{array},$$

  ここで、次のようになります。

  $$r=\sqrt{{\displaystyle \sum _{m=1}^d\frac{{(x_{im}-x_{jm})}^2}{{\sigma }_m^2}}}.$$

• ARD 有理二次カーネル

  このカーネル関数は、名前と値のペアの引数 'KernelFunction','ardrationalquadratic' を使用して指定できます。この共分散関数は、各予測子について特性長スケールが異なる有理二次カーネル関数です。これは次のように定義されます。

  $$k(x_i,x_j|\theta )={\sigma }_f^2{\left(1+\frac{1}{2\alpha }{\displaystyle \sum _{m=1}^d\frac{{(x_{im}-x_{jm})}^2}{{\sigma }_m^2}}\right)}^{-\alpha }.$$

カーネル関数は、fitrgp を呼び出すときに名前と値のペアの引数 KernelFunction を使用して指定できます。組み込みカーネル パラメーター オプションのいずれかを指定するか、カスタム関数を指定することができます。組み込みカーネル関数にカーネル パラメーターの初期値を指定する場合、信号標準偏差の初期値と特性長スケールを数値ベクトルとして入力します。カスタム カーネル関数にカーネル パラメーターの初期値を指定する場合、非制約パラメーター表現ベクトル $$\theta$$ の初期値を入力します。fitrgp は組み込みカーネル関数を使用する場合、パラメーター推定に解析微分を使用しますが、カスタム カーネル関数を使用する場合は、数値微分を使用します。

参照

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

[2] Neal, R. M. Bayesian Learning for Neural Networks. Springer, New York. Lecture Notes in Statistics, 118, 1996.

参考

fitrgp | RegressionGP

関連するトピック

• 予測子ごとに異なる長さスケールの使用
• カスタムなカーネル関数の使用による GPR モデルの当てはめ
• 初期カーネル パラメーター値の指定による影響