イメージラベラー入門

イメージラベラーアプリでは、関心領域 (ROI) ラベルとしてマークするさまざまな形状を対話形式で簡単に作成できます。イメージまたはイメージシーケンスで、軸方向に整列したまたは回転した四角形、ポリライン、ピクセル、および多角形の ROI ラベルとシーンラベルを作成できます。

ラベル付けされたデータを使用して、イメージ分類器、オブジェクト検出器、セマンティックセグメンテーションネットワーク、およびインスタンスセグメンテーションネットワークなどのアルゴリズムの検証や学習ができます。ROI ラベルを作成するためにラベル付け描画ツールを選択する際には、用途を考慮します。用途に適したラベルタイプと描画ツールを選択する方法の詳細については、ROI ラベル、サブラベル、属性を参照してください。

ROI とシーンラベルの定義

"ROI ラベル" は、軸方向に整列したまたは回転した四角形、ポリライン、ピクセル、多角形のいずれかの関心領域に対応します。これらのラベルには "cars" などのラベル名と作成した領域などの 2 つのコンポーネントが含まれます。
"シーンラベル" は、"sunny" などのシーンの性質を表します。このラベルはフレームに関連付けることができます。

この例の使用

個人プロジェクトに取り組んでいる場合でも、チームの一員として作業している場合でも、この例で概説されているワークフローは同じです。ただし、チームで作業している場合は、ここで説明する手順のサブセットのみが必要となります。次の表は、役割に応じて必要なワークフローの手順を示しています。チームベースのラベル付けを使用したラベル付けプロジェクトの管理の詳細については、Get Started with Team-Based Labelingを参照してください。

ワークフロー	個人	チームベースプロジェクトのマネージャー	ラベル付けタスクの所有者	レビュータスクの所有者
イメージの読み込み
ラベル定義の作成
ラベルイメージ
個人プロジェクトのラベル付きイメージのエクスポート

イメージの読み込み

新しいプロジェクトを開始したり、既存のプロジェクトを開いたりするには、[プロジェクトを開く]、[新規の個人プロジェクト]、[新規のチームプロジェクト] のいずれかを選択します。ラベルのないイメージまたは部分的にラベルが付いているイメージを読み込んだり、レビューの準備ができたイメージを読み込んだりできます。

ラベル付けの必要があるイメージは、データストアまたはフォルダーに保存できます。イメージは imread によって読み取り可能でなければなりません。保存済みのプロジェクトから、以前のラベル付けセッションを読み込むことができます。

プログラムによるデータの読み込み

次のコードでは、データストアから本の表紙のイメージをプログラムで読み込みます。

イメージのフォルダーからデータストアを作成します。

imageFolder = fullfile(toolboxdir("vision"),"visiondata","bookcovers")
imds = imageDatastore(imageFolder)

データストアを読み込みます。
```
imageLabeler(imds)
```

イメージのフォルダーをプログラムで読み込むには、次のようにします。

imageFolder = fullfile(toolboxdir("vision"),"visiondata","bookcovers")
imageLabeler(imageFolder)

アプリからのデータの直接読み込み

この例では、アプリから対話的にイメージを読み込みます。まず、[アプリ] タブの [イメージ処理とコンピュータービジョン] からアプリを開きます。ファイルから、あるいはワークスペース内のデータストアからイメージを読み込むには、[インポート] をクリックします。

この例で使用するイメージを読み込むには、[インポート] をクリックし、[ファイルから] を選択します。boats.png イメージを選択します。

matlab/toolbox/vision/visiondata/boats.png

イメージラベラーアプリのレイアウト

Image labeler app with one image of boats displayed.

イメージラベラーアプリのセクションは以下のようになります。

最初のイメージがキャンバスに表示され、読み込まれたすべてのイメージがアプリ下部の [イメージブラウザー] に表示されます。
[ビジュアル概要] ブラウザーには、プロジェクト内のイメージの ROI とシーンラベルの分布が表示されます。
アプリには、ツールバーで使用できるオプションのセットを制御する 2 つのタブがあります。既定で表示される [イメージラベラー] タブには、ファイル管理、ラベル定義オプション、自動ラベリングオプション、監視、ショートカットとチュートリアルを表示するボタン、および [エクスポート] ボタンが用意されています。[可視化] タブには、アプリでの作業を可視化するためのオプションが用意されています。これらのオプションでは、アプリのレイアウトの変更、ROI ラベルの表示方法の制御 (ポイント時、常に表示、または表示しないなど)、色別 (同じラベルのすべての ROI を同じ色で表示) またはインスタンス別 (ROI ラベルの各インスタンスを異なる色で表示) による ROI の表示方法の制御、およびラベルの不透明度の変更といったラベルの操作を容易に行うことができます。
[ROI ラベル] ペインには、プロジェクトで使用する ROI ラベル定義が表示されます。
[シーンラベル] ペインには、プロジェクトで使用するシーンラベル定義が表示されます。
[ラベル、サブラベルおよび属性の表示] ペインには、ラベル付けされた ROI とシーンの詳細が表示されます。

ラベル定義の作成

描画するラベルを定義します。この例では、アプリ内でラベルを直接定義します。代わりに MATLAB^® コマンドラインからラベルを描画するには、labelDefinitionCreator を使用します。すべてのラベル名は 1 語でなければなりません。

ROI ラベルの作成

"ROI ラベル" は、イメージの関心領域 (ROI) に対応するラベルです。以下の ROI ラベルタイプを定義できます。

Rectangle — 車両、ボート、建物など、イメージ内のオブジェクトの周りに 2 次元の軸方向に揃えた四角形境界ボックスラベルを描画します。
Rotated Rectangle — 車両、ボート、建物など、イメージ内のオブジェクトの周りに、回転した四角形の 2 次元境界ボックスラベルを描画します。
Point — オブジェクトを識別するために点を描画します。
Projected cuboid — イメージ内のオブジェクトの周りに 3 次元の境界ボックスラベルを描画します。
Line — 車線境界線などのラインにラベルを付けるためにライン ROI を描画します。
Polygon — オブジェクトの周りに多角形ラベルを描画します。同じクラスの個別のインスタンスにラベルを付けることができます。インスタンスセグメンテーションネットワークおよびセマンティックセグメンテーションネットワーク用に多角形 ROI ラベルを描画する方法の詳細については、Label Objects Using Polygons を参照してください。
Pixel label — セマンティックセグメンテーション用に、道路や空などのさまざまなクラスにラベルを付けるため、ピクセルを描画します。ピクセルのラベル付けの詳細については、セマンティックセグメンテーションのピクセルのラベル付けを参照してください。

これらの ROI ラベルの定義の詳細については、ROI ラベル、サブラベル、属性を参照してください。

この例では、ボートの種類をラベル付けするための Boat グループを定義してから、Sailboat および Tanker の Rectangle ROI ラベルを作成します。ラベル付け時の ROI ラベル名の表示を制御するには、[ROI ラベルの表示] ドロップダウンメニューから [ポイント時]、[常時]、または [なし] を選択します。

ツールストリップの [ラベルの定義] セクションで [ラベル] をクリックします。
Sailboat という名前の [四角形] ラベルタイプを作成します。
オプションで、プレビューの色をクリックすることで、ラベルの色を変えられます。
[グループ] ドロップダウンメニューから、[新規グループ...] を選択し、グループに Boats という名前を付けます。
[OK] をクリックします。
[Boats] のグループ名は、作成されたラベル [Sailboat] と共に [ROI ラベル] ペインに表示されます。リストのラベルを左クリックして上下にドラッグすると、リスト内の別の位置またはグループに移動できます。
[Boats] ラベルの 2 番目のタイプを追加するには、[ラベル]、[四角形] の順にクリックします。ラベルに Tanker という名前を付けます。[OK] をクリックします。
[Sailboat] サブラベルを選択し、マウスを使ってヨットの周りに四角形 ROI を描画します。[Tanker] サブラベルを選択して、タンカー船の周りに ROI を描画します。ROI から離れた所のイメージをクリックして選択を解除します。選択した ROI は黄色の輪郭で表示されます。

サブラベルの作成

"サブラベル" は、親 ROI ラベルに対応する ROI ラベルのタイプです。各サブラベルは、[ROI ラベル] ペインで定義された特定のラベルに属している (特定のラベルの子である) 必要があります。たとえば、海洋シーンの場合、Sailboat (ヨット) のラベルに sail (帆) のサブラベルがある可能性があります。サブラベルの詳細については、ROI ラベル、サブラベル、属性を参照してください。

帆のサブラベルを定義します。

左側の [ROI ラベル] ペインで [Sailboat] ラベルをクリックします。
ツールストリップの [ラベルの定義] セクションで [サブラベル] をクリックします。
[四角形] を選択し、サブラベルに sail という名前を付けます。必要に応じて、色を選択し (既定では、サブラベルは親ラベルと同じ色になる)、説明を記述します。[OK] をクリックします。
[ROI ラベル] ペインに [sail] サブラベルが表示されます。サブラベルは、選択した ROI ラベル [Sailboat] の下に入れ子にされます。
ラベルに複数のサブラベルを追加できます。サブラベルをドラッグアンドドロップしてリスト内で並べ替えることもできます。また、任意のラベルをクリックして [編集] をクリックし、追加の編集を行うこともできます。
[ROI ラベル] ペインで [sail] サブラベルを選択します。
イメージフレームで、[Sailboat] ラベルを選択します。選択するとラベルは黄色に変化します。サブラベルを描画する前に、[Sailboat] ラベル (親 ROI) を選択しなければなりません。
それぞれの帆について [sail] サブラベルを描画します。

サブラベルが独自のサブラベルをもつことはできません。また、サブラベルは、ピクセルラベルを除くすべての ROI ラベルタイプで使用できます。[ラベル、サブラベルおよび属性] ペインに、作成されたラベルのリストとスタックの順番が表示されることに注意してください。

ラベルとサブラベルの表示/非表示

[ROI ラベル] ペインの Eye icon アイコンを使用して、ラベル付きイメージのラベルまたはサブラベルを表示したり非表示にしたりできます。は、ラベルまたはサブラベルを定義した後にのみ表示されます。既定では、アプリはすべてのラベルとサブラベルを表示します。

ラベルまたはサブラベルを非表示にするには、ラベルまたはサブラベル名の横にある Eye icon アイコンをクリックします。アプリは、対応するラベルまたはサブラベルを非表示にし、 Hide icon アイコンを表示します。

ROI 属性の作成

"ROI 属性" では、ROI ラベルまたはサブラベルに関する追加情報を指定します。たとえば、運転シーンの場合、属性は車両のタイプや色を含む場合があります。海洋のシーンでは、ヨットのタイプや帆の数などが属性に含まれます。これらのタイプの ROI 属性を定義できます。

Numeric Value — ラベル付けされた車両のドアの数やヨットの帆の数など、数値スカラーの属性を指定します。
String — 車両やボートの色など、string スカラーの属性を指定します。
Logical — 車両が動いているか、ボートが帆走しているかなど、logical の true または false の属性を指定します。
List — 車両やボートのメーカーやモデルなど、事前定義された文字列で構成されるドロップダウンリストの属性を指定します。

これらの属性タイプの詳細については、ROI ラベル、サブラベル、属性を参照してください。

ラベルに属性を追加します。

左側の [ROI ラベル] ペインで [Sailboat] ラベルを選択し、ツールストリップの [ラベルの定義] セクションで [属性] をクリックします。オプションから [リスト] を選択します。
[属性名] ボックスに sailboatType と入力します。
[リスト項目] セクションで、3 つの異なるヨットの種類 (Monohull、Catamaran、および Multihull) を 1 行に 1 つずつ入力します。必要に応じて、属性に説明を加えることができます。[OK] をクリックします。ラベルまたはサブラベル ROI をポイントすると、その名前が表示されます。

サブラベルに属性を追加することもできます。たとえば、この例では、[sail] サブラベルの属性を使用して、それがフォアセイルであるかメインセイルであるかを示すことができます。または、次の手順で、帆が上がっているかどうかを示す logical 属性を追加します。

左側の [ROI ラベル] ペインで [sail] サブラベルを選択し、[属性] をクリックしてから [logical] をクリックします。
[属性名] ボックスに sailRaised と入力します。[既定値] は [Empty] の設定のままにしておき、必要に応じて説明を記述して、[OK] をクリックします。
シーンで帆を選択します。選択すると、ROI が黄色で表示されます。属性 sailRaised と適切な logical 値を選択します。

属性を削除するには、ROI ラベルまたはサブラベルを右クリックして、削除する属性を選択します。属性を削除すると、以前に作成したすべての ROI ラベルの注釈から属性情報が削除されます。

シーンラベルの作成

"シーンラベル" は、シーンに関する追加情報を定義します。シーンラベルは、ライティングや気象などの条件、または車線変更やポイントオブセイルなどのイベントを説明するために使用します。

シーンラベルを作成します。

ドロップダウンリストの下部にある [シーンラベルの定義] セクションから [ラベル]、[シーン] の順に選択します。
dayTime という名前のシーンラベルを入力します。TimeOfDay という名前の新しいグループを作成します。
同じグループ内に nightTime という名前の別のシーンラベルを作成します。
シーンを日中としてラベル付けするには、dayTime のシーンラベルをクリックし、[イメージに適用] をクリックします。シーンラベルにチェックマークが表示されます。

ラベルイメージ

イメージへのラベル付けを手動で行うこともできますし、適切な組み込みオートメーションアルゴリズムを使用したり、新しいアルゴリズムを作成したり、アルゴリズムをインポートしたりすることもできます。

グラウンドトゥルースに手動でラベルを付ける

ROI ラベルとシーンラベルは、セッション全体とセッション内のすべてのイメージに対して定義されます。オートメーションアルゴリズムを使用しない限り、関連するすべてのイメージにラベルを付けなければなりません。

オートメーションアルゴリズムを使用したグラウンドトゥルースのラベル付け

ラベル付け処理を高速化するために、オートメーションアルゴリズムを使用して残りのイメージにラベルを付けることができます。アプリのツールストリップ [自動ラベリング]、[アルゴリズムの選択] セクションから、以下のオートメーションアルゴリズムのタイプのいずれかを選択します。

カスタムオートメーション関数 — カスタムアルゴリズムを定義します。
組み込みのオートメーションアルゴリズムの 1 つを使用する — 適切なアルゴリズムを選択します。右側のペインに表示される手順に従います。
イメージ全体のアルゴリズムの追加 — 新しいオートメーションアルゴリズムを作成したり、インポートしたりできます。両方のオプションの詳細については、オートメーションアルゴリズムの作成を参照してください。
ブロック化されたイメージのアルゴリズムの追加 — ブロック化されたイメージの新しいオートメーションアルゴリズムを作成したり、インポートしたりできます。両方のオプションの詳細については、Label Large Images in the Image Labelerを参照してください。

オートメーションアルゴリズムを使用した後、サブラベルと属性情報を使用して、残りのフレームに手動でラベルを付けることができます。

ラベルをさらに評価するには、ラベル付きイメージのビジュアル概要を表示します。[ビジュアル概要] 情報は、アプリのイメージペインの下に表示されます。この概要を使用して、フレーム、ラベルの頻度、およびシーンの状態を比較できます。詳細については、View Summary of ROI and Scene Labelsを参照してください。この概要では、サブラベルや属性については説明していません。

チームベースプロジェクトのラベル付きイメージのエクスポート

チームベースのプロジェクトの一部として作業しているときにラベル付きイメージをエクスポートするには、Combine Reviewed Images and Exportに概説されている手順に従います。

個人プロジェクトのラベル付きイメージのエクスポート

ラベル付きのグラウンドトゥルースを MAT ファイルや、MATLAB ワークスペースの変数にエクスポートできます。いずれの場合も、ラベル付きのグラウンドトゥルースは groundTruth オブジェクトとして保存されます。

groundTruth オブジェクトを使用して、深層学習ベースのコンピュータービジョンアルゴリズムに学習させることができます。詳細については、オブジェクト検出およびセマンティックセグメンテーション用の学習データを参照してください。

メモ

ピクセルデータをエクスポートする場合、ピクセルラベルデータとグラウンドトゥルースデータは別個のファイルに保存されますが、フォルダーは同一です。エクスポートしたピクセルラベルを扱う場合の考慮事項については、ラベラーアプリにおけるエクスポートしたピクセルラベルの保存方法を参照してください。

この例では、ラベル付きのグラウンドトゥルースを MATLAB ワークスペースにエクスポートします。アプリのツールストリップから、[ラベルをエクスポート] 、 [ワークスペースへ] を選択します。エクスポートした MATLAB 変数は gTruth です。

エクスポートした groundTruth オブジェクトのプロパティを表示します。エクスポートしたオブジェクトの情報は、以下に示す情報と異なる可能性があります。

gTruth

gTruth = 

  groundTruth with properties:

          DataSource: [1×1 groundTruthDataSource]
    LabelDefinitions: [2x6 table]
           LabelData: [531×3 timetable]

データソース

DataSource は、イメージまたはビデオへのパスとタイムスタンプを含む groundTruthDataSource オブジェクトです。このオブジェクトのプロパティを表示します。

gTruth.DataSource

ans = 

groundTruthDataSource for a video file with properties

        Source: ...matlab\toolbox\vision\visiondata\visiontraffic.avi
    TimeStamps: [531×1 duration]

ラベルの定義

LabelDefinitions は、ラベル定義に関する情報を含む table です。この table は、ビデオフレームに描画されたラベルに関する情報を含みません。固有の MAT ファイルにラベル定義を保存するには、アプリのツールストリップから、[保存] 、 [ラベルの定義] を選択します。次に、[ファイルのインポート] を選択することで、これらのラベル定義を別のアプリセッションにインポートできます。

ラベル定義 table を表示します。各行は、ROI ラベル定義またはシーンラベル定義に関する情報を含みます。ピクセルラベルデータをエクスポートした場合、LabelDefinitions table には、各ピクセルラベル定義の ID 番号を含む PixelLabelID 列も含まれます。

gTruth.LabelDefinitions

ans =
  3×6 table

      Name         Type        LabelColor        Group       Description     Hierarchy  
    _________    _________    ____________    ___________    ___________    ____________

    {'Car'  }    Rectangle    {1×3 double}    {'Vehicle'}    {0×0 char}     {1×1 struct}
    {'Truck'}    Rectangle    {1×3 double}    {'Vehicle'}    {0×0 char}     {0×0 double}
    {'Sunny'}    Scene        {1×3 double}    {'Weather'}    {0×0 char}     {0×0 double}

LabelDefinitions 内の Hierarchy 列は、親 ROI ラベルのサブラベルと属性定義に関する情報を格納します。

Car ラベルのサブラベルと属性情報を表示します。

gTruth.LabelDefinitions.Hierarchy{1}

ans = 

  struct with fields:
       numDoors: [1×1 struct]
          color: [1×1 struct]
       inMotion: [1×1 struct]
        carType: [1×1 struct]
      headlight: [1×1 struct]
           Type: Rectangle
    Description: ''

headlight サブラベルに関する情報を表示します。

gTruth.LabelDefinitions.Hierarchy{1}.headlight

ans = 

  struct with fields:
           Type: Rectangle
    Description: ''
          Color: [0.5862 0.8276 0.3103]
           isOn: [1×1 struct]

carType 属性に関する情報を表示します。

gTruth.LabelDefinitions.Hierarchy{1}.carType

ans = 

  struct with fields:

      ListItems: {3×1 cell}
    Description: ''

チームベースのプロジェクトでのアプリセッションの保存

セッションは、チームベースのプロジェクトの各手順内で保存されます。これらの各手順の詳細については、Get Started with Team-Based Labelingを参照してください。

個人プロジェクトとしてのアプリセッションの保存

アプリのツールストリップから、[プロジェクトの保存]、[名前を付けて保存] の順に選択し、アプリセッションの MAT ファイルを保存します。保存されたセッションには、データソース、ラベル定義、およびラベル付きのグラウンドトゥルースが含まれます。また、アプリのレイアウトなど、セッションの基本設定も含まれます。レイアウトオプションを変更するには、[レイアウト] を選択します。

セッション中はいつでも [新規セッション] を選択して新規セッションを開始できます。現在のセッションを保存するか、キャンセルするかを選択できます。

アプリセッションの MAT ファイルは、[エクスポート] を選択したときにエクスポートされるグラウンドトゥルース MAT ファイルとは別のものです。ラベル付きのグラウンドトゥルースデータを共有するには、ベストプラクティスとして、アプリセッション MAT ファイルを共有するのではなく、groundTruth オブジェクトを含むグラウンドトゥルース MAT ファイルを共有します。詳細については、ラベル付きのグラウンドトゥルースデータの共有と保存を参照してください。

参考

アプリ

イメージラベラー

オブジェクト

groundTruth | imageDatastore | groundTruthDataSource | labelDefinitionCreator | vision.labeler.AutomationAlgorithm