Why is the learning rate for the bias usually twice as large as the the LR for the weights?

Why is the learning rate for the bias usually twice as large as the the LR for the weights?

2 件のコメント

Greg Heath
Greg Heath 2018 年 1 月 4 日
Please post the proof of this assertion.
Greg
Salma Hassan
Salma Hassan 2018 年 1 月 5 日
編集済み: Image Analyst 2018 年 1 月 5 日
on the other hand if you check, for example alexnet layers you will find that net.Layers(N, 1).BiasLearnRateFactor=2 and net.Layers(N, 1).WeightLearnRateFactor = 1

サインインしてコメントする。

回答 (0 件)

カテゴリ

ヘルプ センター および File ExchangeDeep Learning Toolbox についてさらに検索

質問済み:

2018 年 1 月 3 日

編集済み:

2018 年 1 月 5 日

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!

Translated by