trainrp

弾性逆伝播法

構文

net.trainFcn = 'trainrp'

[trainedNet,tr] = train(net,...)

説明

net.trainFcn = 'trainrp' は、ネットワークの trainFcn プロパティを設定します。

[trainedNet,tr] = train(net,...) は、trainrp を使用してネットワークに学習させます。

trainrp は、弾性逆伝播法アルゴリズム (Rprop) に従って重みとバイアスの値を更新するネットワーク学習関数です。

学習は trainrp の学習パラメーターに従って行われます。以下に、学習パラメーターをその既定値と共に示します。

• net.trainParam.epochs — 学習の最大エポック数。既定値は 1000 です。

• net.trainParam.show — 表示間のエポック数 (表示なしは NaN)。既定値は 25 です。

• net.trainParam.showCommandLine — コマンド ライン出力の生成。既定値は false です。

• net.trainParam.showWindow — 学習 GUI の表示。既定値は true です。

• net.trainParam.goal — 性能目標。既定値は 0 です。

• net.trainParam.time — 最大学習時間 (秒単位)。既定値は inf です。

• net.trainParam.min_grad — 性能の勾配の最小値。既定値は 1e-5 です。

• net.trainParam.max_fail — 検証エラーの最大回数。既定値は 6 です。

• net.trainParam.lr — 学習率。既定値は 0.01 です。

• net.trainParam.delt_inc — 重みの変化のインクリメント。既定値は 1.2 です。

• net.trainParam.delt_dec — 重みの変化のデクリメント。既定値は 0.5 です。

• net.trainParam.delta0 — 初期の重みの変化。既定値は 0.07 です。

• net.trainParam.deltamax — 重みの最大変化。既定値は 50.0 です。

例

'trainrp' で学習させたネットワークの問題の求解

この例では、trainrp 学習関数を使用してフィードフォワード ネットワークに学習させ、入力 p とターゲット t をもつ問題を解く方法を示します。

ネットワークを使って求解する入力 p とターゲット t を作成します。

p = [0 1 2 3 4 5];
t = [0 0 0 1 1 1];

2 つの隠れニューロンおよびこの学習関数をもつ 2 層フィードフォワード ネットワークを作成します。

net = feedforwardnet(2,'trainrp');

ネットワークの学習とテストを行います。

net.trainParam.epochs = 50;
net.trainParam.show = 10;
net.trainParam.goal = 0.1;
net = train(net,p,t);
a = net(p)

その他の例については、help feedforwardnet と help cascadeforwardnet を参照してください。

入力引数

net — 入力ネットワーク

行列

入力ネットワーク。ネットワーク オブジェクトとして指定します。ネットワーク オブジェクトを作成するには、feedforwardnet、narxnet などを使用します。

出力引数

trainedNet — 学習済みネットワーク

network

学習済みネットワーク。network オブジェクトとして返されます。

tr — 学習記録

構造体

学習記録 (epoch および perf)。フィールドがネットワーク学習関数 (net.NET.trainFcn) によって異なる構造体として返されます。含まれるフィールドには以下のものがあります。

• 学習、データ分割、性能の関数およびパラメーター

• 学習セット、検証セット、およびテスト セットのデータ分割インデックス

• 学習セット、検証セット、およびテスト セットのデータ分割マスク

• エポックの数 (num_epochs) および最適なエポック (best_epoch)

• 学習の状態名の一覧 (states)

• 学習全体を通じて値を記録する各状態名のフィールド

• 最適なネットワーク性能 (best_perf、best_vperf、best_tperf)

詳細

ネットワークの利用

trainrp と feedforwardnet または cascadeforwardnet を使用する標準的なネットワークを作成できます。

trainrp を使用して学習が行われるようにカスタム ネットワークを準備するには、以下のようにします。

1. net.trainFcn を 'trainrp' に設定します。これにより、net.trainParam が trainrp の既定のパラメーターに設定されます。

2. net.trainParam プロパティを目的の値に設定します。

どちらの場合も、結果として得られるネットワークで train を呼び出すことによって、trainrp を使用してネットワークの学習を行います。

弾性逆伝播法

多層ネットワークでは、シグモイド伝達関数が隠れ層で一般的に使用されます。これらの関数は無限の入力範囲を有限の出力範囲に圧縮するため、通常 "スカッシング" 関数と呼ばれます。シグモイド関数には、入力が大きくなるにつれて傾きが必ず 0 に近づくという特徴があります。このことは、最急降下法を使用してシグモイド関数が含まれる多層ネットワークに学習させる場合に、問題の原因となります。勾配の大きさが非常に小さくなることによって、重みとバイアスが最適値から離れていても、重みとバイアスの変化が小さくなる可能性があるためです。

弾性逆伝播法 (Rprop) 学習アルゴリズムの目的は、偏微分の大きさによるこのような悪影響を排除することです。重み更新の方向は、微分の符号のみによって決まります。微分の大きさは重み更新に影響しません。重みの変化のサイズは、個別の更新値によって決まります。それぞれの重みとバイアスの更新値は、その重みについての性能関数の微分が 2 つの連続する反復に対して同じ符号であれば常に、係数 delt_inc で増加します。更新値は、その重みについての微分の符号が前の反復から変化していれば常に、係数 delt_dec で減少します。微分が 0 の場合、更新値は同じままです。重みが振動している場合は常に、重みの変化が減少します。複数の反復で重みが同じ方向に変化し続ける場合、重みの変化の大きさが増加します。Rprop アルゴリズムの詳細な説明は [RiBr93] を参照してください。

次のコードは、前のネットワークを再作成して、Rprop アルゴリズムを使用して学習を行います。trainrp の学習パラメーターは、epochs、show、goal、time、min_grad、max_fail、delt_inc、delt_dec、delta0、および deltamax です。最初の 8 個のパラメーターについては前述しています。最後の 2 つは、それぞれ初期ステップ サイズと最大ステップ サイズです。Rprop の性能は、学習パラメーターの設定にはあまり左右されません。以下の例では、学習パラメーターは既定値のままです。

p = [-1 -1 2 2;0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'trainrp');
net = train(net,p,t);
y = net(p)

rprop は一般的に、標準の最急降下法アルゴリズムよりはるかに高速です。必要メモリ量があまり増加しないという優れた特性もあります。必要なのは、それぞれの重みとバイアスの更新値を格納することであり、これは勾配の格納に相当します。

アルゴリズム

trainrp は、重み関数、正味入力関数、および伝達関数に導関数がある限り、任意のネットワークの学習を行うことができます。

重みとバイアスの変数 X に対する性能 perf の微分の計算には、逆伝播が使用されます。各変数は、以下に従って調整されます。

dX = deltaX.*sign(gX);

ここで、deltaX の要素はすべて delta0 に初期化されており、gX は勾配です。各反復で、deltaX の要素が変更されます。gX の要素によって、ある反復から次の反復までに符号が変化した場合、deltaX の対応する要素が delta_dec ずつ減少します。gX の要素によって、ある反復から次の反復まで符号が変化しなかった場合、deltaX の対応する要素が delta_inc ずつ増加します。次を参照してください。Riedmiller, M., and H. Braun, “A direct adaptive method for faster backpropagation learning: The RPROP algorithm,” Proceedings of the IEEE International Conference on Neural Networks,1993, pp. 586–591.

次のいずれかの条件が発生すると、学習が停止します。

• epochs (反復回数) の最大数に達する。

• time の最大値を超える。

• 性能が goal に最小化される。

• 性能の勾配が min_grad より小さくなる。

• 検証性能 (検証誤差) が、最後の低下以降、max_fail 回を超えて増加する (検証の使用時)。

参照

[1] Riedmiller, M., and H. Braun, “A direct adaptive method for faster backpropagation learning: The RPROP algorithm,” Proceedings of the IEEE International Conference on Neural Networks,1993, pp. 586–591.

バージョン履歴

R2006a より前に導入

参考

traingdm | traingda | traingdx | trainlm | traincgp | traincgf | traincgb | trainscg | trainoss | trainbfg