piecewiseLearnRate

区分的学習率スケジュール

R2024b 以降

説明

区分的学習率スケジュール オブジェクトは、指定された係数を乗算して学習率を定期的に下げます。

ヒント

既定のオプションで区分的学習率スケジュールを簡単に使用するには、trainingOptions 関数の LearnRateSchedule 引数を "piecewise" として指定します。

作成

説明

schedule = piecewiseLearnRate は、piecewiseLearnRate オブジェクトを作成します。

この構文は、trainingOptions 関数の LearnRateSchedule 引数を "piecewise" に設定することと等価です。

schedule = piecewiseLearnRate(Name=Value) は、1 つ以上の名前と値の引数を使用して、オプションのプロパティを指定します。たとえば、DropFactor=0.5 は、学習率を半分にすることを指定します。

プロパティ

DropFactor — 学習率を下げるために使用されるスケーリング係数

0.1 (既定値) | 範囲 (0,1) のスカラー

学習率を下げるために使用されるスケーリング係数。範囲 (0,1) のスカラーとして指定します。

FrequencyUnit が "epoch" である場合、ソフトウェアは Period エポックごとに学習率を更新します。FrequencyUnit が "iteration" である場合、ソフトウェアは Period 回の反復ごとに学習率を更新します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

Period — 学習率を更新するまでのステップ数

1 (既定値) | 正の整数

学習率を更新するまでのステップ数。正の整数として指定します。

FrequencyUnit が "epoch" である場合、ソフトウェアは Period エポックごとに学習率を更新します。FrequencyUnit が "iteration" である場合、ソフトウェアは Period 回の反復ごとに学習率を更新します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

FrequencyUnit — 頻度の単位

"epoch" (既定値) | "iteration"

頻度の単位。"epoch" または "iteration" として指定します。

FrequencyUnit が "epoch" である場合、ソフトウェアは Period エポックごとに学習率を更新します。FrequencyUnit が "iteration" である場合、ソフトウェアは Period 回の反復ごとに学習率を更新します。

NumSteps — 学習率を下げるまでのステップ数

読み取り専用: Inf (既定値)

この プロパティ は読み取り専用です。

学習率を下げるまでのステップ数。Inf として指定します。

piecewiseLearnRate オブジェクトの学習率スケジュールは無期限であるため、NumSteps は Inf です。

データ型: double

例

区分的学習率スケジュールの作成

既定の設定で区分的学習率スケジュールを作成します。

schedule = piecewiseLearnRate

schedule = 
  piecewiseLearnRate with properties:

       DropFactor: 0.1000
           Period: 10
    FrequencyUnit: "epoch"
         NumSteps: Inf

このスケジュールを学習オプションとして指定します。

options = trainingOptions("adam",LearnRateSchedule=schedule);

区分的学習率スケジュール オブジェクトを作成する代わりに、既定のオプションで区分的学習率スケジュールを簡単に使用するには、trainingOptions 関数の LearnRateSchedule 引数を "piecewise" として指定します。

options = trainingOptions("adam",LearnRateSchedule="piecewise");

区分的学習率スケジュールのカスタマイズ

100 回の反復ごとに学習率を半分にする区分的学習率スケジュールを作成します。

schedule = piecewiseLearnRate( ...
    DropFactor=0.5, ...
    Period=100, ...
    FrequencyUnit="iteration")

schedule = 
  piecewiseLearnRate with properties:

       DropFactor: 0.5000
           Period: 100
    FrequencyUnit: "iteration"
         NumSteps: Inf

このスケジュールを学習オプションとして指定します。

options = trainingOptions("adam",LearnRateSchedule=schedule);

アルゴリズム

区分的学習率スケジュール

区分的学習率スケジュール オブジェクトは、指定された係数を乗算して学習率を定期的に下げます。

ソフトウェアは、次の式を使用して学習率を計算します。

$$\alpha ={\alpha }_0{\gamma }^{\lfloor k/P\rfloor },$$

ここで、次のようになります。

• α₀ は、trainingOptions 関数の InitialLearnRate オプションによって指定される基本学習率。

• γ は、DropFactor 引数で指定されるスケーリング係数。

• P は、Period 引数で指定される期間。

FrequencyUnit が "iteration" である場合、変数 k はスケジュールの反復回数を表します。k の値は学習の反復回数と異なる場合があります。たとえば、{"warmup",schedule} を使用して学習させる場合、schedule は FrequencyUnit が "iteration" に設定された piecewiseLearnRate オブジェクトで、学習の反復回数が 15 であるとき、ウォームアップ学習率スケジュールが 5 回の学習反復で実行されるため、piecewiseLearnRate オブジェクトは値が 10 である k を使用します。

FrequencyUnit が "epoch" である場合、変数 k はスケジュールのエポック数を表します。この場合、スケジュールはエポックの各反復に対して同じ学習率を使用します。k の値は学習のエポック数と異なる場合があります。たとえば、{warmupLearnRate(FrequencyUnit="epoch"),schedule} を使用して学習させる場合、schedule は FrequencyUnit が "epoch" に設定された piecewiseLearnRate オブジェクトで、学習のエポック数が 15 であるとき、ウォームアップ学習率スケジュールが最初の 5 エポックを処理するため、piecewiseLearnRate オブジェクトは値が 10 である k を使用します。

次のプロットは、既定の設定による区分的学習率スケジュールの概要を示しています。

バージョン履歴

R2024b で導入

参考

trainingOptions | trainnet | dlnetwork | warmupLearnRate | polynomialLearnRate | exponentialLearnRate | cosineLearnRate | cyclicalLearnRate

トピック

• Define Custom Learning Rate Schedule
• カスタム学習ループ、損失関数、およびネットワークの定義
• 分類用のシンプルな深層学習ニューラル ネットワークの作成
• 新しいイメージを分類するためのニューラル ネットワークの再学習
• 深層学習のヒントとコツ