Main Content

このページの内容は最新ではありません。最新版の英語を参照するには、ここをクリックします。

adamupdate

適応モーメント推定 (Adam) を使用してパラメーターを更新する

R2019b 以降

説明

適応モーメント推定 (Adam) アルゴリズムを使用して、カスタム学習ループでネットワークの学習可能なパラメーターを更新します。

メモ

この関数は、Adam 最適化アルゴリズムを適用して、dlnetwork オブジェクトまたはモデル関数として定義されたネットワークを使用するカスタム学習ループでネットワークのパラメーターを更新します。Layer 配列または LayerGraph として定義されたネットワークに学習させる場合は、以下の関数を使用します。

[netUpdated,averageGrad,averageSqGrad] = adamupdate(net,grad,averageGrad,averageSqGrad,iteration) は、Adam アルゴリズムを使用して、ネットワーク net の学習可能なパラメーターを更新します。dlnetwork オブジェクトとして定義されたネットワークを反復的に更新するには、学習ループでこの構文を使用します。

[params,averageGrad,averageSqGrad] = adamupdate(params,grad,averageGrad,averageSqGrad,iteration) は、Adam アルゴリズムを使用して、params に含まれる学習可能なパラメーターを更新します。関数を使用して定義されたネットワークの学習可能なパラメーターを反復的に更新するには、学習ループでこの構文を使用します。

[___] = adamupdate(___learnRate,gradDecay,sqGradDecay,epsilon) は、前述の構文の入力引数に加え、グローバル学習率、勾配減衰、二乗勾配減衰、および微小定数イプシロンに使用する値も指定します。

すべて折りたたむ

グローバル学習率 0.05、勾配減衰係数 0.75、および二乗勾配減衰係数 0.95 で、適応モーメント推定による更新を 1 ステップ実行します。

パラメーターとパラメーター勾配を数値配列として作成します。

params = rand(3,3,4);
grad = ones(3,3,4);

最初の反復の反復カウンター、平均勾配、および平均二乗勾配を初期化します。

iteration = 1;
averageGrad = [];
averageSqGrad = [];

グローバル学習率、勾配減衰係数、および二乗勾配減衰係数のカスタム値を指定します。

learnRate = 0.05;
gradDecay = 0.75;
sqGradDecay = 0.95;

adamupdate を使用して学習可能なパラメーターを更新します。

[params,averageGrad,averageSqGrad] = adamupdate(params,grad,averageGrad,averageSqGrad,iteration,learnRate,gradDecay,sqGradDecay);

反復カウンターを更新します。

iteration = iteration + 1;

adamupdate を使用して、Adam アルゴリズムによるネットワークの学習を行います。

学習データの読み込み

数字の学習データを読み込みます。

[XTrain,TTrain] = digitTrain4DArrayData;
classes = categories(TTrain);
numClasses = numel(classes);

ネットワークの定義

ネットワークを定義し、イメージ入力層で Mean オプションを使用して平均イメージの値を指定します。

layers = [
    imageInputLayer([28 28 1],'Mean',mean(XTrain,4))
    convolution2dLayer(5,20)
    reluLayer
    convolution2dLayer(3,20,'Padding',1)
    reluLayer
    convolution2dLayer(3,20,'Padding',1)
    reluLayer
    fullyConnectedLayer(numClasses)
    softmaxLayer];

層配列から dlnetwork オブジェクトを作成します。

net = dlnetwork(layers);

モデル損失関数の定義

例の最後にリストされている補助関数 modelLoss を作成します。この関数は、dlnetwork オブジェクト、および入力データのミニバッチとそれに対応するラベルを受け取り、学習可能なパラメーターについての損失とその損失の勾配を返します。

学習オプションの指定

学習中に使用するオプションを指定します。

miniBatchSize = 128;
numEpochs = 20;
numObservations = numel(TTrain);
numIterationsPerEpoch = floor(numObservations./miniBatchSize);

ネットワークの学習

平均勾配および 2 乗平均勾配を初期化します。

averageGrad = [];
averageSqGrad = [];

学習の進行状況モニター用に合計反復回数を計算します。

numIterations = numEpochs * numIterationsPerEpoch;

TrainingProgressMonitor オブジェクトを初期化します。monitor オブジェクトを作成するとタイマーが開始されるため、学習ループに近いところでオブジェクトを作成するようにしてください。

monitor = trainingProgressMonitor(Metrics="Loss",Info="Epoch",XLabel="Iteration");

カスタム学習ループを使用してモデルに学習させます。各エポックについて、データをシャッフルしてデータのミニバッチをループで回します。関数 adamupdate を使用してネットワーク パラメーターを更新します。反復が終了するたびに、学習の進行状況を表示します。

GPU が利用できる場合、GPU で学習を行います。GPU を使用するには、Parallel Computing Toolbox™ とサポートされている GPU デバイスが必要です。サポートされているデバイスについては、GPU 計算の要件 (Parallel Computing Toolbox)を参照してください。

iteration = 0;
epoch = 0;

while epoch < numEpochs && ~monitor.Stop
    epoch = epoch + 1;

    % Shuffle data.
    idx = randperm(numel(TTrain));
    XTrain = XTrain(:,:,:,idx);
    TTrain = TTrain(idx);

    i = 0;
    while i < numIterationsPerEpoch && ~monitor.Stop
        i = i + 1;
        iteration = iteration + 1;

        % Read mini-batch of data and convert the labels to dummy
        % variables.
        idx = (i-1)*miniBatchSize+1:i*miniBatchSize;
        X = XTrain(:,:,:,idx);

        T = zeros(numClasses, miniBatchSize,"single");
        for c = 1:numClasses
            T(c,TTrain(idx)==classes(c)) = 1;
        end

        % Convert mini-batch of data to a dlarray.
        X = dlarray(single(X),"SSCB");

        % If training on a GPU, then convert data to a gpuArray.
        if canUseGPU
            X = gpuArray(X);
        end

        % Evaluate the model loss and gradients using dlfeval and the
        % modelLoss function.
        [loss,gradients] = dlfeval(@modelLoss,net,X,T);

        % Update the network parameters using the Adam optimizer.
        [net,averageGrad,averageSqGrad] = adamupdate(net,gradients,averageGrad,averageSqGrad,iteration);

        % Update the training progress monitor.
        recordMetrics(monitor,iteration,Loss=loss);
        updateInfo(monitor,Epoch=epoch + " of " + numEpochs);
        monitor.Progress = 100 * iteration/numIterations;
    end
end

ネットワークのテスト

真のラベルをもつテスト セットで予測を比較して、モデルの分類精度をテストします。

[XTest,TTest] = digitTest4DArrayData;

次元形式 "SSCB" (空間、空間、チャネル、バッチ) を使用して、データを dlarray に変換します。GPU で予測する場合、データを gpuArray にも変換します。

XTest = dlarray(XTest,"SSCB");
if canUseGPU
    XTest = gpuArray(XTest);
end

dlnetwork オブジェクトを使用してイメージを分類するには、関数 predict を使用してスコアが最も高いクラスを見つけます。

YTest = predict(net,XTest);
[~,idx] = max(extractdata(YTest),[],1);
YTest = classes(idx);

分類精度を評価します。

accuracy = mean(YTest==TTest)
accuracy = 0.9908

モデル損失関数

補助関数 modelLoss は、dlnetwork オブジェクト net、および入力データのミニバッチ X とそれに対応するラベル T を受け取り、net 内の学習可能なパラメーターについての損失とその損失の勾配を返します。勾配を自動的に計算するには、関数 dlgradient を使用します。

function [loss,gradients] = modelLoss(net,X,T)

Y = forward(net,X);
loss = crossentropy(Y,T);
gradients = dlgradient(loss,net.Learnables);

end

入力引数

すべて折りたたむ

ネットワーク。dlnetwork オブジェクトとして指定します。

この関数は、dlnetwork オブジェクトの Learnables プロパティを更新します。net.Learnables は、3 つの変数をもつ table です。

  • Layer — 層の名前。string スカラーとして指定します。

  • Parameter — パラメーター名。string スカラーとして指定します。

  • Value — パラメーターの値。dlarray を含む cell 配列として指定します。

入力引数 grad は、net.Learnables と同じ形式の table でなければなりません。

ネットワークの学習可能なパラメーター。dlarray、数値配列、cell 配列、構造体、または table として指定します。

params を table として指定する場合、次の 3 つの変数を table に含めなければなりません。

  • Layer — 層の名前。string スカラーとして指定します。

  • Parameter — パラメーター名。string スカラーとして指定します。

  • Value — パラメーターの値。dlarray を含む cell 配列として指定します。

cell 配列、構造体、table、入れ子になった cell 配列、または入れ子になった構造体を使用し、ネットワークの学習可能なパラメーターのコンテナーとして params を指定できます。cell 配列、構造体、または table に含まれる学習可能なパラメーターは、データ型が double または single である dlarray または数値でなければなりません。

入力引数 grad のデータ型、順序、およびフィールド (構造体の場合) または変数 (table の場合) は、params とまったく同じでなければなりません。

損失の勾配。dlarray、数値配列、cell 配列、構造体、または table として指定します。

grad の厳密な形式は、入力ネットワークまたは学習可能なパラメーターによって異なります。adamupdate に与えることができる入力について、grad で要求される形式を次の表に示します。

入力学習可能なパラメーター勾配
net変数 LayerParameter、および Value を含む table net.Learnables。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列から成ります。 データ型、変数、および順序が net.Learnables と同じである table。grad は、各学習可能なパラメーターの勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。
paramsdlarrayデータ型と順序が params と同じである dlarray
数値配列データ型と順序が params と同じである数値配列
cell 配列データ型、構造体、および順序が params と同じである cell 配列
構造体データ型、フィールド、および順序が params と同じである構造体
変数 LayerParameter、および Value をもつ table。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列で構成されていなければなりません。データ型、変数、および順序が params と同じである table。grad は、各学習可能なパラメーターの勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。

dlgradient への呼び出しが含まれる関数を評価する dlfeval を呼び出すことで、grad を取得できます。詳細については、Deep Learning Toolbox での自動微分の使用を参照してください。

パラメーター勾配の移動平均。空の配列、dlarray、数値配列、cell 配列、構造体、または table として指定します。

averageGrad の厳密な形式は、入力ネットワークまたは学習可能なパラメーターによって異なります。adamupdate に与えることができる入力について、averageGrad で要求される形式を次の表に示します。

入力学習可能なパラメーター平均勾配
net変数 LayerParameter、および Value を含む table net.Learnables。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列から成ります。 データ型、変数、および順序が net.Learnables と同じである table。averageGrad は、各学習可能なパラメーターの平均勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。
paramsdlarrayデータ型と順序が params と同じである dlarray
数値配列データ型と順序が params と同じである数値配列
cell 配列データ型、構造体、および順序が params と同じである cell 配列
構造体データ型、フィールド、および順序が params と同じである構造体
変数 LayerParameter、および Value をもつ table。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列で構成されていなければなりません。データ型、変数、および順序が params と同じである table。averageGrad は、各学習可能なパラメーターの平均勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。

averageGrad および averageSqGrad を空の配列として指定した場合、この関数は、過去の勾配が存在しないと仮定し、一連の反復における最初の更新時と同じ処理を実行します。学習可能なパラメーターを反復的に更新するには、前回の adamupdate の呼び出しで得られた出力 averageGrad を入力 averageGrad として使用します。

二乗パラメーター勾配の移動平均。空の配列、dlarray、数値配列、cell 配列、構造体、または table として指定します。

averageSqGrad の厳密な形式は、入力ネットワークまたは学習可能なパラメーターによって異なります。adamupdate に与えることができる入力について、averageSqGrad で要求される形式を次の表に示します。

入力学習可能なパラメーター平均二乗勾配
net変数 LayerParameter、および Value を含む table net.Learnables。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列から成ります。 データ型、変数、および順序が net.Learnables と同じである table。averageSqGrad は、各学習可能なパラメーターの平均二乗勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。
paramsdlarrayデータ型と順序が params と同じである dlarray
数値配列データ型と順序が params と同じである数値配列
cell 配列データ型、構造体、および順序が params と同じである cell 配列
構造体データ型、フィールド、および順序が params と同じである構造体
変数 LayerParameter、および Value をもつ table。変数 Value は、各学習可能なパラメーターが dlarray として格納された cell 配列で構成されていなければなりません。データ型、変数、および順序が params と同じである table。averageSqGrad は、各学習可能なパラメーターの平均二乗勾配が格納された cell 配列から成る変数 Value で構成されていなければなりません。

averageGrad および averageSqGrad を空の配列として指定した場合、この関数は、過去の勾配が存在しないと仮定し、一連の反復における最初の更新時と同じ処理を実行します。学習可能なパラメーターを反復的に更新するには、前回の adamupdate の呼び出しで得られた出力 averageSqGrad を入力 averageSqGrad として使用します。

反復回数。正の整数として指定します。adamupdate を最初に呼び出すときは、1 の値を使用します。その後、adamupdate を呼び出すたびに、iteration1 ずつインクリメントしなければなりません。Adam アルゴリズムは、この値を使用して、一連の反復処理の開始時に移動平均のバイアスを修正します。

グローバル学習率。正のスカラーとして指定します。learnRate の既定値は 0.001 です。

ネットワーク パラメーターを dlnetwork として指定した場合、各パラメーターの学習率は、グローバル学習率に、ネットワーク層で定義された対応する学習率係数プロパティを乗算した値になります。

勾配減衰係数。01 の正のスカラーとして指定します。gradDecay の既定値は 0.9 です。

二乗勾配減衰係数。01 の正のスカラーとして指定します。sqGradDecay の既定値は 0.999 です。

ゼロ除算エラーを回避するための微小定数。正のスカラーとして指定します。epsilon の既定値は 1e-8 です。

出力引数

すべて折りたたむ

更新されたネットワーク。dlnetwork オブジェクトとして返されます。

この関数は、dlnetwork オブジェクトの Learnables プロパティを更新します。

更新されたネットワークの学習可能なパラメーター。dlarray、数値配列、cell 配列、構造体、またはネットワークの更新された学習可能なパラメーターが格納された変数 Value をもつ table として返されます。

更新されたパラメーター勾配の移動平均。dlarray、数値配列、cell 配列、構造体、または table として返されます。

更新された二乗パラメーター勾配の移動平均。dlarray、数値配列、cell 配列、構造体、または table として返されます。

アルゴリズム

すべて折りたたむ

適応モーメント推定

適応モーメント推定 (Adam) [1]では、RMSProp に似ているが、モーメンタム項が追加されたパラメーター更新を使用します。これは、パラメーターの勾配とそれらの二乗値の両方について要素単位の移動平均を維持します。

m=β1m1+(1β1)E(θ)

v=β2v1+(1β2)[E(θ)]2

減衰率 β1 と β2 は、それぞれ勾配減衰係数および二乗勾配減衰係数です。Adam では、移動平均を使用してネットワーク パラメーターを次のように更新します。

θ+1=θαmlvl+ϵ

値 α は学習率です。多数の反復に対する勾配が類似している場合、勾配の移動平均を使用すると、パラメーター更新で特定方向のモーメンタム項を選択できます。勾配のほとんどがノイズである場合、勾配の移動平均が小さくなり、パラメーター更新も小さくなります。Adam の完全な更新には、学習の最初に現れるバイアスを補正するメカニズムも含まれています。詳細については、[1]を参照してください。

参照

[1] Kingma, Diederik, and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980 (2014).

拡張機能

バージョン履歴

R2019b で導入