ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

ガウス過程回帰モデル

ガウス過程回帰 (GPR) モデルは、ノンパラメトリックなカーネルベースの確率モデルです。GPR モデルは、関数 fitrgp を使用して学習させることができます。

未知の分布から抽出された {(xi,yi);i=1,2,...,n} という学習セットがあるとします。ここで、xid および yi です。GPR モデルは、与えられた新しい入力ベクトル xnew と学習データから応答変数 ynew の値を予測するという問題を扱います。線形回帰モデルは、次のような形式になります。

y=xTβ+ε,

ここで、εN(0,σ2) です。誤差分散 σ2 と係数 β は、データから推定されます。GPR モデルでは、ガウス過程による潜在的変数 f(xi),i=1,2,...,n と明示的な基底関数 h を導入することにより応答を求めます。潜在的変数の共分散関数は応答の滑らかさを捕らえ、基底関数は入力 x を p 次元の特徴空間に射影します。

GP は、どの有限個のサブセットも結合ガウス分布になる一連の確率変数です。{f(x),xd} が GP である場合、n 個の観測値 x1,x2,...,xn が与えられると、確率変数 f(x1),f(x2),...,f(xn) の同時分布はガウス分布になります。GP は、平均関数 m(x) と共分散関数 k(x,x) によって定義されます。つまり、{f(x),xd} がガウス過程である場合、E(f(x))=m(x) および Cov[f(x),f(x)]=E[{f(x)m(x)}{f(x)m(x)}]=k(x,x). です。

次のようなモデルについて考えます。

h(x)Tβ+f(x),

ここで、f(x)~GP(0,k(x,x))、つまり f(x) は、共分散関数 k(x,x) をもつゼロ平均 GP から派生しています。h(x) は、Rd における元の特徴ベクトル x を Rp における新しい特徴ベクトル h(x) に変換する一連の基底関数です。β は、基底関数の係数から構成される p 行 1 列のベクトルです。このモデルは、GPR モデルを表します。応答 y のインスタンスは、次のようにモデル化できます。

P(yi|f(xi),xi) ~N(yi|h(xi)Tβ+f(xi),σ2)

したがって、GPR モデルは確率モデルです。各観測値 xi について潜在的変数 f(xi) を導入したので、GPR モデルはノンパラメトリックになります。ベクトル形式では、このモデルは次と等価です。

P(y|f,X)~N(y|Hβ+f,σ2I),

ここで、次のようになります。

X=(x1Tx2TxnT),y=(y1y2yn),H=(h(x1T)h(x2T)h(xnT)),f=(f(x1)f(x2)f(xn)).

GPR モデルにおける潜在的変数 f(x1),f(x2),...,f(xn) の同時分布は次のようになり、線形回帰モデルに近くなっています。

P(f|X)~N(f|0,K(X,X)),

ここで、K(X,X) は次のようになります。

K(X,X)=(k(x1,x1)k(x1,x2)k(x1,xn)k(x2,x1)k(x2,x2)k(x2,xn)k(xn,x1)k(xn,x2)k(xn,xn)).

通常、共分散関数 k(x,x) は一連のカーネル パラメーターまたはハイパーパラメーター θ によりパラメーター表現されます。多くの場合、θ に依存することを明示的に示すため、k(x,x)k(x,x|θ) と記述されます。

fitrgp は、GPR モデルを学習させるときに、カーネル関数の基底関数係数 β、ノイズ分散 σ2 およびハイパーパラメーター θ をデータから推定します。基底関数、カーネル (共分散) 関数およびパラメーターの初期値を指定できます。

GPR モデルは確率的なので、学習済みのモデルを使用して予測区間を計算することができます (predictresubPredict を参照してください)。関数 g(x) = x*sin(x) から観測したデータがあり、ノイズはないと仮定します。次の図における左のサブプロットには、観測値、GPR 近似および実際の関数が示されています。観測値が正確な関数値にならず、ノイズが含まれている方がより現実的です。右のサブプロットには、このケースが示されています。(左のサブプロットのように) 観測値にノイズがない場合、GPR 近似は観測値と一致し、予測した応答の標準偏差はゼロになります。したがって、このような値に予測区間はありません。

学習済みの GPR モデルを使用して回帰誤差を計算することもできます (lossresubLoss を参照してください)。

参照

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

参考

|

関連するトピック