Why is the learning rate for the bias usually twice as large as the the LR for the weights?

2 ビュー (過去 30 日間)
Salma Hassan
Salma Hassan 2018 年 1 月 3 日
編集済み: Image Analyst 2018 年 1 月 5 日
Why is the learning rate for the bias usually twice as large as the the LR for the weights?
  2 件のコメント
Greg Heath
Greg Heath 2018 年 1 月 4 日
Please post the proof of this assertion.
Greg
Salma Hassan
Salma Hassan 2018 年 1 月 5 日
編集済み: Image Analyst 2018 年 1 月 5 日
https://datascience.stackexchange.com/questions/23549/why-is-the-learning-rate-for-the-bias-usually-twice-as-large-as-the-the-lr-for-t
on the other hand if you check, for example alexnet layers you will find that net.Layers(N, 1).BiasLearnRateFactor=2 and net.Layers(N, 1).WeightLearnRateFactor = 1

サインインしてコメントする。

サインインしてこの質問に回答する。

回答 (0 件)

カテゴリ

Help Center および File Exchange で Image Data Workflows についてさらに検索

タグ

製品

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!

Translated by