Main Content

自動並列サポートを使用したクラウドでのネットワークの学習

この例では、MATLAB の並列学習の自動サポートを使用して、畳み込みニューラル ネットワークに学習させる方法を説明します。多くの場合、深層学習には数時間または数日を要します。ローカルまたはクラウド内のクラスターで複数のグラフィックス処理装置 (GPU) を使用して並列計算を行うことで、学習速度を向上できます。複数の GPU が搭載されたマシンにアクセスできる場合は、データのローカル コピーでこの例を実行できます。さらに多くのリソースが必要な場合は、深層学習をクラウドにスケール アップできます。並列学習のオプションの詳細については、並列およびクラウドでの深層学習のスケールアップ (Deep Learning Toolbox)を参照してください。この例では、MATLAB の自動並列サポートを使用して、クラウド上のクラスターで深層学習ネットワークに学習させる手順を説明します。

要件

この例を実行するには、クラスターを構成し、データをクラウドにアップロードしなければなりません。MATLAB では、MATLAB デスクトップから直接クラウドにクラスターを作成できます。[ホーム] タブの [並列] メニューで [クラスターの作成と管理] を選択します。クラスター プロファイル マネージャーで、[クラウド クラスターの作成] をクリックします。あるいは、MathWorks Cloud Center を使用して、計算クラスターの作成およびアクセスができます。詳細については、Getting Started with Cloud Center を参照してください。その後、Amazon S3 バケットにデータをアップロードし、MATLAB から直接アクセスします。この例では、既に Amazon S3 に保存されている CIFAR-10 データセットのコピーを使用します。手順については、クラウドへの深層学習データのアップロード (Deep Learning Toolbox)を参照してください。

並列プールの設定

クラスターで並列プールを起動し、ワーカー数をクラスター上の GPU の数に設定します。GPU より多くのワーカーを指定した場合、残りのワーカーはアイドルになります。この例では、使用するクラスターが既定のクラスター プロファイルとして設定されていると仮定します。既定のクラスター プロファイルは、MATLAB の [ホーム] タブの [並列][既定のクラスターの選択] で確認してください。

numberOfWorkers = 8;
parpool(numberOfWorkers);
Starting parallel pool (parpool) using the 'MyClusterInTheCloud' profile ...
connected to 8 workers.

クラウドからのデータセットの読み込み

imageDatastore を使用して、クラウドから学習データセットおよびテスト データセットを読み込みます。この例では、Amazon S3 に保存されている CIFAR-10 データセットのコピーを使用します。クラウド内のデータ ストアへのアクセス権をワーカーが確実にもつように、AWS 認証情報の環境変数が正しく設定されていることを確認してください。クラウドへの深層学習データのアップロード (Deep Learning Toolbox)を参照してください。

imdsTrain = imageDatastore('s3://cifar10cloud/cifar10/train', ...
 'IncludeSubfolders',true, ...
 'LabelSource','foldernames');

imdsTest = imageDatastore('s3://cifar10cloud/cifar10/test', ...
 'IncludeSubfolders',true, ...
 'LabelSource','foldernames');

augmentedImageDatastore オブジェクトを作成し、拡張イメージ データを使用してネットワークに学習させます。ランダムな平行移動と水平方向の反射パターンを使用します。データ拡張は、ネットワークによる過適合と、学習イメージそのものの細部の記憶を防ぐ上で役立ちます。

imageSize = [32 32 3];
pixelRange = [-4 4];
imageAugmenter = imageDataAugmenter( ...
    'RandXReflection',true, ...
    'RandXTranslation',pixelRange, ...
    'RandYTranslation',pixelRange);
augmentedImdsTrain = augmentedImageDatastore(imageSize,imdsTrain, ...
    'DataAugmentation',imageAugmenter, ...
    'OutputSizeMode','randcrop');

ネットワーク アーキテクチャと学習オプションの定義

CIFAR-10 データセットのネットワーク アーキテクチャを定義します。コードを簡略化するために、入力を畳み込む畳み込みブロックを使用します。プーリング層は空間次元をダウンサンプリングします。

blockDepth = 4; % blockDepth controls the depth of a convolutional block
netWidth = 32; % netWidth controls the number of filters in a convolutional block

layers = [
    imageInputLayer(imageSize) 
    
    convolutionalBlock(netWidth,blockDepth)
    maxPooling2dLayer(2,'Stride',2)
    convolutionalBlock(2*netWidth,blockDepth)
    maxPooling2dLayer(2,'Stride',2)    
    convolutionalBlock(4*netWidth,blockDepth)
    averagePooling2dLayer(8) 
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer
];

学習オプションを定義します。実行環境を parallel に設定することで、現在のクラスターを使用して並列でネットワークに学習させます。複数の GPU を使用すると、使用できる計算リソースが増えます。各 GPU の作業負荷を一定に保つには、GPU の数に応じてミニバッチ サイズをスケール アップします。ミニバッチ サイズに従って学習率をスケーリングします。学習率スケジュールを使用して、学習の進行に伴って学習率を下げます。学習の進行状況プロットをオンにして、学習中に視覚的フィードバックを取得します。

miniBatchSize = 256 * numberOfWorkers;
initialLearnRate = 1e-1 * miniBatchSize/256;

options = trainingOptions('sgdm', ...
    'ExecutionEnvironment','parallel', ... % Turn on automatic parallel support.
    'InitialLearnRate',initialLearnRate, ... % Set the initial learning rate.
    'MiniBatchSize',miniBatchSize, ... % Set the MiniBatchSize.
    'Verbose',false, ... % Do not send command line output.
    'Plots','training-progress', ... % Turn on the training progress plot.
    'L2Regularization',1e-10, ...
    'MaxEpochs',50, ...
    'Shuffle','every-epoch', ...
    'ValidationData',imdsTest, ...
    'ValidationFrequency',floor(numel(imdsTrain.Files)/miniBatchSize), ...
    'LearnRateSchedule','piecewise', ...
    'LearnRateDropFactor',0.1, ...
    'LearnRateDropPeriod',45);

ネットワークの学習および分類での使用

クラスター上のネットワークに学習させます。学習中はプロットに進行状況が表示されます。

net = trainNetwork(augmentedImdsTrain,layers,options)

net = 
  SeriesNetwork with properties:

    Layers: [43×1 nnet.cnn.layer.Layer]

学習済みネットワークをローカル マシンで使用してテスト イメージを分類することで、ネットワークの精度を求めます。次に、予測されたラベルと実際のラベルを比較します。

YPredicted = classify(net,imdsTest);
accuracy = sum(YPredicted == imdsTest.Labels)/numel(imdsTest.Labels)

補助関数の定義

ネットワーク アーキテクチャ内で畳み込みブロックを作成する関数を定義します。

function layers = convolutionalBlock(numFilters,numConvLayers)
    layers = [
        convolution2dLayer(3,numFilters,'Padding','same')
        batchNormalizationLayer
        reluLayer
    ];
    
    layers = repmat(layers,numConvLayers,1);
end

参考

| (Deep Learning Toolbox) | (Deep Learning Toolbox)

関連するトピック