ディープネットワークデザイナーでの簡単なセマンティックセグメンテーションネットワークの作成

この例では次を使用します。

この例では、ディープネットワークデザイナーを使用し、簡単なセマンティックセグメンテーションネットワークを作成する方法を説明します。

セマンティックセグメンテーションは、イメージの各ピクセルをクラスラベル ("花"、"人物"、"道路"、"空"、"海洋"、"自動車" など) に関連付けるプロセスを表します。セマンティックセグメンテーションの応用例としては、自動運転のための道路セグメンテーションや医療診断のための癌細胞セグメンテーションなどがあります。詳細については、深層学習を使用したセマンティックセグメンテーション入門を参照してください。

学習データの読み込み

セマンティックセグメンテーションネットワークに学習させるには、イメージコレクションと、対応するピクセルラベル付きイメージコレクションが必要です。ピクセルラベル付きイメージは、すべてのピクセル値がそのピクセルのカテゴリカルラベルを表すイメージです。この例では、説明のために 32 x 32 の三角形のイメージを含む単純なデータセットを使用します。イメージラベラーを使用して、対話形式でピクセルにラベル付けし、ラベルデータをコンピュータービジョン用にエクスポートできます。セマンティックセグメンテーションアプリケーション用の学習データ作成の詳細については、セマンティックセグメンテーションのピクセルのラベル付けを参照してください。

学習データを読み込みます。

dataFolder  = fullfile(toolboxdir("vision"),"visiondata","triangleImages");

学習用データの準備

imageDir = fullfile(dataFolder,"trainingImages");
labelDir = fullfile(dataFolder,"trainingLabels");

イメージを格納する ImageDatastore を作成します。

imds = imageDatastore(imageDir);

グラウンドトゥルースピクセルラベルを格納する PixelLabelDatastore を作成します。このデータセットには、"triangle" と "background" の 2 つのクラスがあります。

classNames = ["triangle","background"];
labelIDs   = [255 0];

pxds = pixelLabelDatastore(labelDir,classNames,labelIDs);

関数 combine を使用して、イメージデータストアとピクセルラベルデータストアを CombinedDatastore オブジェクトに統合します。統合されたデータストアは、基になるデータストアでのイメージペア間のパリティを維持します。

cds = combine(imds,pxds);

ネットワークアーキテクチャの構築

ディープネットワークデザイナー (Deep Learning Toolbox)を開きます。

deepNetworkDesigner

ディープネットワークデザイナー内で、深層ニューラルネットワークを構築できます。[空のネットワーク] で一時停止し、[新規] をクリックします。

[層のライブラリ] から [デザイナー] ペインに層をドラッグして、セマンティックセグメンテーションネットワークを作成します。

次の順序で層を結合します。

imageInputLayer (InputSize を 32,32,1 に設定)
convolution2dLayer (FilterSize を 3,3、NumFilters を 64、Padding を 1,1,1,1 に設定)
reluLayer
maxPooling2dLayer (PoolSize を 2,2、Stride を 2,2、Padding を 0,0,0,0 に設定)
convolution2dLayer (FilterSize を 3,3、NumFilters を 64、Padding を 1,1,1,1 に設定)
reluLayer
transposedConv2dLayer (FilterSize を 4,4、 NumFilters を 64、 Stride を 2,2、and Cropping を 1,1,1,1 に設定)
convolution2dLayer (FilterSize を 1,1、NumFilters を 2、Padding を 0,0,0,0 に設定)
softmaxLayer

このネットワークをコマンドラインで作成し、deepNetworkDesigner(layers) を使用してネットワークをディープネットワークデザイナーにインポートすることもできます。

layers = [
    imageInputLayer([32 32 1])
    convolution2dLayer([3,3],64,Padding=[1,1,1,1])
    reluLayer
    maxPooling2dLayer([2,2],Stride=[2,2])
    convolution2dLayer([3,3],64,Padding=[1,1,1,1])
    reluLayer
    transposedConv2dLayer([4,4],64,Stride=[2,2],Cropping=[1,1,1,1])
    convolution2dLayer([1,1],2)
    softmaxLayer];

このネットワークは、ダウンサンプリングとアップサンプリングの設計に基づくシンプルなセマンティックセグメンテーションネットワークです。セマンティックセグメンテーションネットワークの構築の詳細については、セマンティックセグメンテーションネットワークの作成を参照してください。

ネットワークの学習の準備が整っていることを確認するには、[解析] をクリックします。深層学習ネットワークアナライザーによってエラーや警告が報告されていないため、ネットワークの学習の準備は整っています。ネットワークをエクスポートするには、[エクスポート] をクリックします。アプリはネットワークを変数 net_1 に保存します。

学習オプションの指定

学習オプションを指定します。オプションの中から選択するには、経験的解析が必要です。実験を実行してさまざまな学習オプションの構成を調べるには、実験マネージャー (Deep Learning Toolbox)アプリを使用できます。

SGDM オプティマイザーを使用して学習させます。
初期学習率として 0.001 を使用します。
学習を 100 エポック行います。
ミニバッチサイズとして 64 を使用します。
学習の進行状況をプロットで表示し、精度を監視します。
詳細出力を無効にします。

options = trainingOptions("sgdm", ...
    MaxEpochs=100, ...
    InitialLearnRate=0.001, ...
    MiniBatchSize=64, ...
    Plots="training-progress", ...
    Metrics="accuracy", ...
    Verbose=false);

ネットワークの学習

関数 trainnet を使用してニューラルネットワークに学習させます。セマンティックセグメンテーションタスクには、クロスエントロピー損失を使用します。既定では、関数 trainnet は利用可能な GPU がある場合にそれを使用します。GPU での学習には、Parallel Computing Toolbox™ ライセンスとサポートされている GPU デバイスが必要です。サポートされているデバイスの詳細については、GPU 計算の要件 (Parallel Computing Toolbox)を参照してください。そうでない場合、関数 trainnet は CPU を使用します。実行環境を指定するには、ExecutionEnvironment 学習オプションを使用します。

net = trainnet(cds,net_1,"crossentropy",options);

イメージ内の三角形のセグメント化

テストデータと学習済みネットワークを使用して予測を行います。

semanticseg を使用してテストイメージをセグメント化します。関数 labeloverlay を使用して、ラベルをイメージの上に重ねて表示します。

imgTest = imread("triangleTest.jpg");
testSeg = semanticseg(imgTest,net);
testImageSeg = labeloverlay(imgTest,testSeg);

結果を表示します。

figure
imshow(testImageSeg)

ネットワークは、テストイメージの三角形に正常にラベルを付けます。

この例で学習を行ったセマンティックセグメンテーションネットワークは非常にシンプルです。より複雑なセマンティックセグメンテーションネットワークに学習させる方法を示す例については、深層学習を使用したセマンティックセグメンテーションを参照してください。

ディープ ネットワーク デザイナーでの簡単なセマンティック セグメンテーション ネットワークの作成