セマンティックセグメンテーションのためのグラウンドトゥルースのラベル付けの自動化

この例では次を使用します。

この例では、事前学習済みのセマンティックセグメンテーションアルゴリズムを使用してイメージ内の空と道路をセグメント化し、このアルゴリズムを使用してグラウンドトゥルースラベラー (Automated Driving Toolbox)アプリでのグラウンドトゥルースのラベル付けを自動化する方法を説明します。

グラウンドトゥルースラベラーアプリ

自動運転アルゴリズムを開発し、そのパフォーマンスを評価するには、良好なグラウンドトゥルースデータが欠かせません。しかし、注釈付きの走行データから成る多様で高品質なセットを作成して維持するには、多大な労力が必要です。グラウンドトゥルースラベラー (Automated Driving Toolbox)アプリを使用すると、このプロセスを簡単かつ効率的に行うことができます。このアプリには、四角形、ライン、またはピクセルラベルとしてオブジェクトに注釈を付ける機能があります。ピクセルのラベル付けは、イメージ内の各ピクセルにクラスまたはカテゴリを割り当てるプロセスであり、これを使用してピクセルレベルのセグメンテーションアルゴリズムに学習させることができます。アプリを使用してすべてのデータに手動でラベルを付けることはできますが、特にピクセルのラベル付けの場合、このプロセスにはかなりの時間とリソースが必要です。アプリでは、代替方法として、ラベル付けプロセスを拡張および自動化するアルゴリズムを組み込むためのフレームワークも利用できます。作成したアルゴリズムを使用してデータセット全体に自動的にラベルを付けてから、より効率的で短い手動の検証手順で作業を終えることができます。オートメーションステップの結果を編集して、アルゴリズムが対応しきれなかった難題に対応することもできます。

この例では、次の作業を行います。

事前学習済みのセグメンテーションアルゴリズムを使用して、'道路' および '空' というカテゴリに属するピクセルをセグメント化します。
グラウンドトゥルースラベラーアプリで使用できるオートメーションアルゴリズムを作成して、道路と空のピクセルに自動的にラベルを付けます。

このグラウンドトゥルースデータを使用して、新しいセマンティックセグメンテーションネットワークに学習させたり、既存のネットワークに再学習させたりできます。

道路と空の検出アルゴリズムの作成

まず、イメージ内の道路と空のピクセルをセグメント化するセマンティックセグメンテーションアルゴリズムを作成します。深層学習を使用したセマンティックセグメンテーションの例では、セマンティックセグメンテーション用の深層学習ネットワークに学習させる方法について説明しています。このネットワークには、'道路' と '空' を含む 11 個のクラスのセマンティックラベルを予測するように学習させています。これらのネットワークのパフォーマンスは、それらがどれだけ一般化できるかによって異なります。学習中に遭遇しなかった状況にネットワークを適用した場合、適切な結果が得られない可能性があります。カスタム学習データを学習プロセスに反復的に導入することで、同様のデータセットにおけるネットワークのパフォーマンスを向上させることができます。

ネットワークをダウンロードします。このネットワークは Cambridge 大学の CamVid データセット [1][2] で事前学習済みです。

pretrainedURL = 'https://www.mathworks.com/supportfiles/vision/data/segnetVGG16CamVid.mat';
pretrainedFolder = fullfile(tempdir,'pretrainedSegNet');
pretrainedSegNet = fullfile(pretrainedFolder,'segnetVGG16CamVid.mat');
if ~exist(pretrainedSegNet,'file')
    if ~exist(pretrainedFolder,'dir')
        mkdir(pretrainedFolder);
    end
    disp('Downloading pretrained SegNet (107 MB)...');
    websave(pretrainedSegNet,pretrainedURL);
end

Downloading pretrained SegNet (107 MB)...

イメージをセグメント化して表示します。

% Load the semantic segmentation network
data = load(pretrainedSegNet);

% Load a test image from drivingdata
roadSequenceData = fullfile(toolboxdir('driving'), 'drivingdata', 'roadSequence');
I = imread(fullfile(roadSequenceData, 'f00000.png'));

% Run the network on the image
automatedLabels = semanticseg(I, data.net);

% Display the labels overlaid on the image, choosing relevant categories
figure, imshow(labeloverlay(I, automatedLabels, 'IncludedLabels', ["Sky", "Road"]));

MATLAB® では、ネットワークの出力が categorical 行列として表されます。リストされているカテゴリには、出力に存在するカテゴリだけでなく、セマンティックセグメンテーションネットワークに学習させたすべてのカテゴリが含まれます。この情報は、ネットワークオブジェクト自体からも使用できます。

  data.net.Layers(end).ClassNames

% List categories of pixels labeled
categories(automatedLabels)

ans = 11×1 cell
    {'Sky'       }
    {'Building'  }
    {'Pole'      }
    {'Road'      }
    {'Pavement'  }
    {'Tree'      }
    {'SignSymbol'}
    {'Fence'     }
    {'Car'       }
    {'Pedestrian'}
    {'Bicyclist' }

% The blue overlay indicates the 'Sky' category, and the green overlay
% indicates 'Road'.

グラウンドトゥルースラベラーへのピクセルセグメンテーションアルゴリズムの統合

抽象基底クラスvision.labeler.AutomationAlgorithmから継承するクラスを作成して、このセマンティックセグメンテーションアルゴリズムをアプリのオートメーションワークフローに組み込みます。この基底クラスは、アルゴリズムの構成と実行のためにアプリが使用する API を定義するものです。グラウンドトゥルースラベラーアプリは、最初のオートメーションクラステンプレートを取得するための便利な方法を提供します。詳細については、ラベル付け用オートメーションアルゴリズムの作成を参照してください。RoadAndSkySegmentation クラスはこのテンプレートに基づいており、ピクセルラベルセグメンテーション用のすぐに使用できるオートメーションクラスを提供します。

RoadAndSkySegmentation クラスの最初のプロパティセットでは、アルゴリズムの名前を指定し、アルゴリズムの簡単な説明を提供し、使用方法を示します。

   properties(Constant)

       %Name
       %   Character vector specifying name of algorithm.
       Name = 'RoadAndSkySegmentation'

       %Description
       %   Character vector specifying short description of algorithm.
       Description = 'This algorithm uses semanticseg with a pretrained network to annotate roads and sky'

       %UserDirections
       %   Cell array of character vectors specifying directions for
       %   algorithm users to follow in order to use algorithm.
       UserDirections = {...
           ['Automation algorithms are a way to automate manual labeling ' ...
           'tasks. This AutomationAlgorithm automatically creates pixel ', ...
           'labels for road and sky.'], ...
           ['Review and Modify: Review automated labels over the interval ', ...
           'using playback controls. Modify/delete/add ROIs that were not ' ...
           'satisfactorily automated at this stage. If the results are ' ...
           'satisfactory, click Accept to accept the automated labels.'], ...
           ['Accept/Cancel: If results of automation are satisfactory, ' ...
           'click Accept to accept all automated labels and return to ' ...
           'manual labeling. If results of automation are not ' ...
           'satisfactory, click Cancel to return to manual labeling ' ...
           'without saving automated labels.']};
   end

RoadAndSkySegmentation クラスの次のセクションでは、コアアルゴリズムに必要なカスタムプロパティを指定します。PretrainedNetwork プロパティは、事前学習済みのネットワークを保持します。AllCategories プロパティは、すべてのカテゴリの名前を保持します。

   properties
       % PretrainedNetwork saves the SeriesNetwork object that does the semantic
       % segmentation.
       PretrainedNetwork

       % Categories holds the default 'background', 'road', and 'sky'
       % categorical types.
       AllCategories = {'background'};

       % Store names for 'road' and 'sky'.
       RoadName
       SkyName
   end

RoadAndSkySegmentation で定義された最初のメソッドである checkLabelDefinition では、タイプ PixelLabel のラベルのみがオートメーションに対して有効になっていることを確認します。PixelLabel は、セマンティックセグメンテーションに必要な唯一のタイプです。

       function TF = checkLabelDefinition(~, labelDef)
           isValid = false;

           if (strcmpi(labelDef.Name, 'road') && labelDef.Type == labelType.PixelLabel)
               isValid = true;
               algObj.RoadName = labelDef.Name;
               algObj.AllCategories{end+1} = labelDef.Name;
           elseif (strcmpi(labelDef.Name, 'sky') && labelDef.Type == labelType.PixelLabel)
               isValid = true;
               algObj.SkyName = labelDef.Name;
               algObj.AllCategories{end+1} = labelDef.Name;
           elseif(labelDef.Type == labelType.PixelLabel)
               isValid = true;
           end
       end

次の関数セットは、アルゴリズムの実行を制御します。vision.labeler.AutomationAlgorithm クラスには、オートメーションを簡単にセットアップして実行するための 'initialize'、'run'、'terminate' などのメソッドを含むインターフェイスが含まれています。関数 initialize は、アプリ内の既存のラベルに基づいてアルゴリズムの初期状態を設定します。RoadAndSkySegmentation クラスでは、関数 initialize をカスタマイズして、事前学習済みのセマンティックセグメンテーションネットワークを tempdir から読み込み、PretrainedNetwork プロパティに保存します。

       function initialize(algObj, ~, ~)

           % Point to tempdir where pretrainedSegNet was downloaded.
           pretrainedFolder = fullfile(tempdir,'pretrainedSegNet');
           pretrainedSegNet = fullfile(pretrainedFolder,'segnetVGG16CamVid.mat'); 
           data = load(pretrainedSegNet);
           % Store the network in the 'PretrainedNetwork' property of this object.
           algObj.PretrainedNetwork = data.net;
       end

次に、関数 run は、このオートメーションクラスのセマンティックセグメンテーションのコアアルゴリズムを定義します。run はビデオフレームごとに呼び出され、オートメーションクラスによってラベルのセットが返される必要があります。RoadAndSkySegmentation の関数 run には、"道路" と "空" に対応するピクセルラベルの categorical 行列を作成するために既に紹介したロジックが含まれています。説明のためにここでは 2 つに制限していますが、ネットワークに学習させる任意のカテゴリにこれを拡張できます。

       function autoLabels = run(algObj, I)
           % Setup categorical matrix with categories including road and
           % sky
           autoLabels = categorical(zeros(size(I,1), size(I,2)),0:2,algObj.AllCategories,'Ordinal',true);

           pixelCat = semanticseg(I, algObj.PretrainedNetwork);
           if ~isempty(pixelCat)
               % Add the selected label at the bounding box position(s)
               autoLabels(pixelCat == "Road") = algObj.RoadName;
               autoLabels(pixelCat == "Sky") = algObj.SkyName;
           end
       end

このアルゴリズムはクリーンアップを必要としないため、関数 terminate は空です。

アプリでのピクセルセグメンテーションオートメーションクラスの使用

前の節で説明したプロパティとメソッドは、RoadAndSkySegmentation オートメーションアルゴリズムクラスファイルに実装されています。アプリでこのクラスを使用するには次のようにします。

必要なフォルダー構造 +vision/+labeler を現在のフォルダーの下に作成し、オートメーションクラスをそこにコピーします。

     mkdir('+vision/+labeler');
     copyfile('RoadAndSkySegmentation.m','+vision/+labeler');

ラベル付けを行うためのカスタムデータを使用して groundTruthLabeler アプリを開きます。説明用に、caltech_cordova1.avi のビデオを開きます。

     groundTruthLabeler caltech_cordova1.avi

左側のペインで、[新しい ROI ラベルの定義] ボタンをクリックし、図のように、タイプ Pixel label の Road と Sky という名前の 2 つの ROI ラベルを定義します。

[アルゴリズム]、[アルゴリズムの選択]、[リストの更新] をクリックします。
[アルゴリズム]、[RoadAndSkySegmentation] をクリックします。このオプションが表示されない場合は、+vision/+labeler というフォルダーが現在の作業フォルダーにあり、RoadAndSkySegmentation.m という名前のファイルがそこに含まれていることを確認します。
[自動化] をクリックします。新しいパネルが開き、アルゴリズムの使用方法が表示されます。

[実行] をクリックします。作成されたアルゴリズムがビデオの各フレームで実行され、"道路" と "空" のカテゴリをセグメント化します。実行が完了したら、スライダーまたは矢印キーを使用してビデオをスクロールし、オートメーションアルゴリズムの結果を確認します。

明らかに、カメラの視野の外側の領域が誤って "空" とラベル付けされ、自車両の一部が "道路" とマークされています。これらの結果は、ネットワークが以前にそのようなデータを学習したことがないことを示しています。このワークフローでは、これらの結果を手動で修正できるため、学習とラベル付けの反復プロセス ("アクティブラーニング" または "ヒューマンインザループ" とも呼ばれる) を使用して、カスタムデータセットのネットワークの精度をさらに向上させることができます。[ピクセルのラベル付け] タブのブラシツールを使用し、ピクセル注釈を追加または削除して、結果を手動で微調整できます。[ピクセルのラベル付け] タブでは、塗りつぶしやスマートポリゴンなどの他のツールも必要に応じて使用できます。

ビデオ全体のピクセルラベルカテゴリが満足のいく状態になったら、[確定] をクリックします。

ビデオのピクセルのラベル付けの自動化が完了しました。他の対象オブジェクトのラベル付けの実行、セッションの保存、このラベル付けの実行結果のエクスポートができるようになりました。

まとめ

この例では、事前学習済みのセマンティックセグメンテーションネットワークを使用し、グラウンドトゥルースラベラーアプリで AutomationAlgorithm インターフェイスを使用して道路と空のピクセルのラベル付けを高速化する方法を示しました。

参考文献

Brostow, Gabriel J., Jamie Shotton, Julien Fauqueur, and Roberto Cipolla. "Segmentation and Recognition Using Structure from Motion Point Clouds." ECCV.2008.
Brostow, Gabriel J., Julien Fauqueur, and Roberto Cipolla. "Semantic Object Classes in Video: A High-Definition Ground Truth Database." Pattern Recognition Letters. 2008.

セマンティック セグメンテーションのためのグラウンド トゥルースのラベル付けの自動化

グラウンド トゥルース ラベラー アプリ