ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

trainbfg

BFGS 準ニュートン法逆伝播

構文

net.trainFcn = 'trainbfg'
[net,tr] = train(net,...)

説明

trainbfg は、BFGS 準ニュートン法に従って重みとバイアスの値を更新するネットワーク学習関数です。

net.trainFcn = 'trainbfg' は、ネットワークの trainFcn プロパティを設定します。

[net,tr] = train(net,...) は、trainbfg を使用してネットワークに学習をさせます。

学習は trainbfg の学習パラメーターに従って行われます。以下に、学習パラメーターをその既定値と共に示します。

net.trainParam.epochs1000

学習エポックの最大回数

net.trainParam.showWindowtrue

学習ウィンドウの表示

net.trainParam.show25表示間のエポック数 (表示なしは NaN)
net.trainParam.showCommandLinefalse

コマンド ライン出力の生成

net.trainParam.goal0

性能目標

net.trainParam.timeinf

最大学習時間 (秒単位)

net.trainParam.min_grad1e-6

性能の勾配の最小値

net.trainParam.max_fail6

検証エラーの最大回数

net.trainParam.searchFcn'srchbac'

使用する直線探索ルーチンの名前

直線探索法に関連するパラメーター (メソッドによっては使用されない場合がある):

net.trainParam.scal_tol20

delta に分割して、直線探索の許容誤差を決定します。

net.trainParam.alpha0.001

perf が十分に低下しているかを決定するスケール係数

net.trainParam.beta0.1

ステップ サイズが十分に大きいかを決定するスケール係数

net.trainParam.delta0.01

区間位置のステップにおける初期ステップ サイズ

net.trainParam.gama0.1

性能のわずかな低下を回避するパラメーターで、通常は 0.1 に設定 (srch_cha を参照)

net.trainParam.low_lim0.1

ステップ サイズの変更の下限

net.trainParam.up_lim 0.5

ステップ サイズの変更の上限

net.trainParam.maxstep100

最大ステップ長

net.trainParam.minstep1.0e-6

最小ステップ長

net.trainParam.bmax26

最大ステップ サイズ

net.trainParam.batch_frag0

複数のバッチがある場合、これらのバッチは独立していると見なされます。非ゼロ値がある場合、断片化されたバッチがあることを意味するため、前の学習済みエポックの最後の層の条件が、次のエポックの初期条件として使用されます。

ネットワークの利用

trainbfgfeedfowardnet または cascadeforwardnet を使用する標準的なネットワークを作成できます。trainbfg を使用して学習が行われるよう、カスタム ネットワークを以下のように準備します。

  1. NET.trainFcn'trainbfg' に設定します。これにより、NET.trainParamtrainbfg の既定のパラメーターに設定されます。

  2. NET.trainParam プロパティを目的の値に設定します。

どちらの場合も、結果として得られるネットワークで train を呼び出すことによって、ネットワークが trainbfg により学習します。

すべて折りたたむ

この例では、学習関数 trainbfg を使用してニューラル ネットワークの学習を行う方法を説明します。

以下では、体脂肪率を予測するように、ニューラル ネットワークに学習させます。

[x, t] = bodyfat_dataset;
net = feedforwardnet(10, 'trainbfg');
net = train(net, x, t);
y = net(x);

詳細

すべて折りたたむ

BFGS 準ニュートン法逆伝播

ニュートン法は共役勾配法に代わるもので、高速に最適化できます。ニュートン法の基本的なステップは、次のとおりです。

xk+1=xkAk1gk

ここで、Ak1 は、重みとバイアスの現在の値での性能インデックスのヘッセ行列 (2 階微分) です。ニュートン法は、多くの場合、共役勾配法より高速に収束します。残念ながら、フィードフォワード ニューラル ネットワークのヘッセ行列の計算は複雑で時間がかかります。そこで、ニュートン法に基づきながら 2 階微分の計算が不要なクラスのアルゴリズムを使用します。これは準ニュートン (または割線) 法と呼ばれます。アルゴリズムの反復のたびに近似ヘッセ行列が更新されます。更新は、勾配の関数として計算されます。発表されている研究で最も成功を収めている準ニュートン法は、Broyden、Fletcher、Goldfarb、および Shanno (BFGS) による更新方法です。このアルゴリズムは、trainbfg ルーチンに実装されています。

BFGS アルゴリズムは、[DeSc83] で説明されています。このアルゴリズムは、通常、共役勾配法より少ない反復回数で収束しますが、各反復でより多くの計算量とストレージを必要とします。近似ヘッセ行列は保存しなければならず、その次元は n x n です。ここで、n はネットワークの重みとバイアスの数です。非常に大規模なネットワークの場合、Rprop またはいずれかの共役勾配法アルゴリズムを使用する方がよい場合もあります。ただし、小規模なネットワークの場合には、効率的な学習関数として trainbfg を使用できる可能性があります。

アルゴリズム

trainbfg は、重み関数、正味入力関数、および伝達関数に導関数がある限り、任意のネットワークの学習を行うことができます。

重みとバイアスの変数 X に対する性能 perf の微分の計算には、逆伝播が使用されます。各変数は、以下に従って調整されます。

X = X + a*dX;

ここで、dX は探索方向です。パラメーター a は、探索方向に沿って性能を最小化するように選択されます。直線探索関数 searchFcn は、最小点を特定するために使用されます。最初の探索方向は、性能の負の勾配になります。後続の反復では、次の式に従って探索方向が計算されます。

dX = -H\gX;

ここで、gX は勾配であり、H は近似ヘッセ行列です。BFGS 準ニュートン法の詳細は、Gill、Murray、および Wright (Practical Optimization, 1981) の 119 ページを参照してください。

次のいずれかの条件が発生すると、学習が停止します。

  • epochs (反復回数) の最大数に達する。

  • time の最大値を超える。

  • 性能が goal に最小化される。

  • 性能の勾配が min_grad より小さくなる。

  • 検証性能が、最後の低下以降、max_fail 回を超えて増加する (検証の使用時)。

参照

Gill, Murray, & Wright, Practical Optimization, 1981

R2006a より前に導入