Batch Normalization Layerについて
古いコメントを表示
MATLABでAIで領域抽出の研究を行っています。
元々学習にとても時間がかかるようなデータ数で学習を行っています。いつもは学習がすべて完了するまで待つのではなく過学習が起こった段階でキャンセルをして止めていました。
今回、Batch Normalization LayerをU-netに追加して学習を行おうと思い学習させ、学習途中に保存しているネットワークでセグメンテーションを行おうとしたのですが
学習が完了する前にバッチ正規化層でネットワークを使用することが出来ません。trainNetworkを使用して学習を完了させてください。
というエラーが出てきました。
学習はいつもmaxEpochsを100にして行っていました。途中で学習を終了させ、ネットワークを使用したい場合普通にキャンセルで止めてもネットワークを使用する事はできますでしょうか？
または、途中に保存しているネットワークをtrainNetworkを使用して学習を完了させる方法を教えて頂きたいです。
よろしくお願いします。
1 件のコメント
michio
2019 年 10 月 16 日
検索用に対応する英語のエラーメッセージを記しておきます。
Unable to use networks with batch normalization layers before training is complete. Use trainNetwork to complete network training.
学習が完了する前に、バッチ正規化層でネットワークを使用することはできません。trainNetwork を使用してネットワークの学習を完了させてください。
採用された回答
Kenta
2019 年 10 月 16 日
4 投票
こんにちは。
訓練・検証・テストに分けて、検証データの結果を見ながら早期終了をした、そして、そこでの学習器を得たという認識でこの回答を書いています。
ただ、「学習途中に保存しているネットワークで」とありますが、それは下の方法をすでに試したということでしょうか？その場合は、また異なる方法が必要かもしれません。
上のリンクで、checkpointpathとあります。そのように、関数で指定すれば各エポック後に指定したパスに学習器が保存されます。任意のエポックでの学習器を取り出したいのであればそのようにするのが手軽かと思います。
ただ、早期終了で得た学習器がエラーを返すならこの方法でも同様かもしれません。ひとまず、私がうまく質問者様の内容をくみとれていない気もしますので、また返信いただけると幸いです。
6 件のコメント
FF
2019 年 10 月 16 日
Kenta
2019 年 10 月 16 日
ご返信ありがとうございます。
「学習が完了する前にバッチ正規化層でネットワークを使用することが出来ません。trainNetworkを使用して学習を完了させてください。」
というエラーには遭遇したことがなく、なぜこのようなことが起こるのかわかりません。また調べておきます。
学習過程で学習率を落としていると思うので、少し面倒かもしれませんが、おっしゃる通りの方法でも代替できるかもしれませんね。ただ、
「早期終了させて保存した学習器を続きから１エポックだけ学習を再開させて学習を完了させる」
とありますが、checkpointpathで保存した学習器自体はうまく使用できるのですか？
FF
2019 年 10 月 16 日
Kenta
2019 年 10 月 16 日
リンクの提供、ありがとうございます。なんとなくわかった気もします。
つまり、エポックの途中で切ってしまうと、訓練データ全体の平均・分散が算出できないのでエラーを返してしまうのですかね。
ミニバッチサイズがある程度大きいのであればcheckpointpathのネットワークを拾って
そこから数イテレーションの学習を行う、ということは不要かもしれません。
さらに、１エポック以下だけ学習させるのは少し面倒かもしれませんね。
michio
2019 年 10 月 16 日
こちらに似た質問がありましたが、理由はすでに議論されている通りです。
上では 1 エポックだけ 'InitialLearnRate' を小さくして学習させる、というコメントもついています。
FF
2019 年 10 月 16 日
その他の回答 (0 件)
カテゴリ
ヘルプ センター および File Exchange で Deep Learning Toolbox についてさらに検索
