最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

セマンティック セグメンテーションのピクセルのラベル付け

イメージ ラベラービデオ ラベラーグラウンド トゥルース ラベラー (Automated Driving System Toolbox™ が必要) アプリでピクセルのラベルを手動で割り当てます。各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルは、セマンティック セグメンテーション アルゴリズムの学習用のグラウンド トゥルース データを作成するために使用します。

ピクセルのラベル付けの開始

最初に、イメージ、ビデオ、またはイメージ シーケンスをラベル付けアプリに読み込んで、ピクセルの ROI ラベルを定義します。詳細は、次を参照してください。

この例では、イメージ ラベラーを使用したピクセルのラベル付けを示します。ビデオ ラベラーまたはグラウンド トゥルース ラベラーでビデオやイメージ シーケンスにラベルを付けるには、同じツールを使用します。

[ROI ラベルの定義] ペインからピクセルのラベル定義を選択します。多角形、ブラシまたは塗りつぶしを使用してピクセルに手動でラベルを付けるツールを含む [ピクセルのラベル付け] タブが開きます。ラベル付けツールを任意の順番で使用できます。このタブには、ズームやパンによってイメージの表示を調整したり、ラベルの不透明度を調整するためのコントロールもあります。

この例では、2 つの一般的な方法を使用して高速道路のイメージのピクセルにラベルを付けます。

  • 最初に [塗りつぶし] および [スマート ポリゴン] などの半自動ツールを使用します。次に、[多角形] および [ブラシ] などのより直接的な制御を提供するツールを使用してラベルを調整します。

  • 最初にオブジェクトの境界が大まかに推定される遠くのオブジェクトにラベルを付けます。次に、オブジェクト境界がより正確な近くのオブジェクトにラベルを付けます。

塗りつぶしツールを使用したピクセルのラベル付け

[塗りつぶし] ツールは、類似色をもつ接続されたピクセルのグループにラベルを付けます。このイメージでは、明るい空の境界は暗い色の植生および陸橋に対して明確であるため、空は塗りつぶしの適切な候補です。対照的に、植生の色は隣接するフェンス、道路および車両と差がほとんどないため、塗りつぶしで植生を分離することはできません。

[塗りつぶし] を使用してピクセルにラベルを付けるには、次を行います。

  1. ツールおよびラベルを選択します。ポインターが塗料缶 に変わります。

  2. イメージの開始ピクセルをクリックします。

Ctrl + Z を押すと、塗りつぶしまたはその他のラベル付け操作を取り消すことができます。

スマート ポリゴン ツールを使用したピクセルのラベル付け

[スマート ポリゴン] ツールは、描画する多角形内の対象オブジェクトの形状を推定します。オブジェクトの形状がシンプルな多角形ではない場合、このツールは便利です。この例では、[スマート ポリゴン] を使用して、空に対して複雑な境界を持つ植生にラベルを付けます。

[スマート ポリゴン] を使用してピクセルにラベルを付けるには、次を行います。

  1. ツールおよびラベルを選択します。ポインターが十字 に変わります。

  2. クリックして多角形の頂点を追加します。オブジェクトおよび多角形の間にスペースを空けて、対象オブジェクトを完全に囲みます。

  3. 他の頂点を配置した後に最初の頂点をクリックして、多角形を閉じます。またはダブルクリックして最後の頂点を追加し、1 ステップで多角形を閉じることができます。

    多角形を閉じると、ツールは初期ラベルを描画します。

  4. 多角形の形状と位置を調整します。対象オブジェクトがイメージの端まで拡張している場合、頂点をイメージの端までドラッグして、スマート ポリゴンがオブジェクトを完全に囲むようにします。たとえば、この例はイメージの左端に配置されている左端の 2 つの頂点を示します。

    スマート ポリゴンの操作

    目的コントロール
    頂点の移動頂点をクリックしてドラッグします。
    頂点の追加

    • 新しい頂点の位置にある多角形の境界を右クリックし、[点の追加] を選択します。

    • 境界上の点をダブルクリックします。

    頂点の削除頂点を右クリックし、[頂点の削除] を選択します。
    多角形の移動多角形の境界上の任意の点 (頂点を除く) をクリックしてドラッグします。
    多角形の削除多角形の境界を右クリックし、[多角形の削除] を選択します。

  5. [スマート ポリゴン エディター] ツールを使用してラベルを調整します。

    • [前景をマーク] を選択してラベルを付ける領域内の領域にマークします。前景マークは緑で表示されます。

    • [背景をマーク] を選択してラベルを付けない領域内の領域にマークします。背景マークは赤で表示されます。

    • [マークを消去] を選択して不要になった前景マークまたは背景マークを削除します。

    • [スマート ポリゴン] ツールの使用に関する他の提案については、ヒントを参照してください。

  6. ラベルを完成させるには、Enter キーを押すか、新しい [ROI ラベルの定義] を選択します。多角形の頂点を編集したり、前景領域および背景領域にマークしたりできなくなります。

多角形ツールを使用したピクセルのラベル付け

[多角形] ツールは、描画する多角形内のすべてのピクセルにラベルを付けます。多角形の頂点を定義および調整するためのコントロールは、[スマート ポリゴン] ツールのコントロールと同様です。

フェンスや道路などの構造物上にさらに多角形を追加します。多くの車両のピクセルには誤ったラベルが付いています。次の手順では、誤ったラベルを正しいラベルに置き換える方法を示します。

ピクセルのラベルの置き換え

各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると、新しいラベルで前のラベルが置き換えられます。

この例では、[スマート ポリゴン] ツールを使用してトラックに属するピクセルにラベルを付けます。前景マークは "車両" ラベルを部分領域に割り当てます。背景マークは部分領域を前のラベルに戻します。たとえば、最初のイメージのペアでは、背景マークは部分領域を "空" および "植生" のラベルに戻します。同様に、2 番目のイメージのペアでは、背景マークは部分領域を "道路" のラベルに戻します。

[スマート ポリゴン] は個々のピクセルではなく部分領域全体にラベルを付けるため、トラックの境界はギザギザです。次の手順では、ラベルをトラックの境界に合わせて調整する方法を示します。

ブラシ ツールを使用したラベルの調整

[ブラシ] ツールは、マウスでイメージに描画するときにピクセルにラベルを付けます。この例では、[ブラシ] を使用して道路からスパーを削除して、トラックの端を滑らかにします。

[ブラシ] を使用してピクセルにラベルを付けるには、次を行います。

  1. ツールおよびラベルを選択します。ポインターがペン に変わり、四角が表示されてブラシのサイズを示します。

  2. [ブラシ サイズ] スライダーを使用してブラシのサイズを調整します。

  3. マウスをクリック アンド ドラッグして、ピクセルにラベルを付けます。

[消去] ツールは、マウスでイメージに描画するときにピクセルのラベルを削除します。

ピクセルのラベルの可視化

イメージのビューを変更して、ピクセルのラベル付けを簡素化できます。[ズームイン][ズームアウト]、および [パン] オプションを使用すると、マウスでイメージをズームおよびパンすることができます。ピクセルのラベル付けを再開するには、[ラベル] アイコンをクリックします。

[ラベルの不透明度] スライダーで、すべてのピクセル ラベルの不透明度を調整します。

  • イメージをより明確に表示するには、不透明度を小さくします。たとえば、不透明度を小さくすると車の下部と道路の間の境界がわかりやすくなります。

  • セグメンテーションをより明確に表示するには、不透明度を大きくします。たとえば、不透明度を大きくすると車のフロント バンパーに沿った端が滑らかになります。また、フェンスおよび遠くにある数台の車両のピクセルにはラベルが付いていないことがわかります。

これが最後のピクセル ラベル付きイメージです。

ヒント

  • [スマート ポリゴン] ツールは、局所的グラフに基づくセグメンテーション ("GrabCut") を使用して対象オブジェクトを特定します [1][スマート ポリゴン] ツールは、イメージを部分領域に分割します。ツールは、多角形の外側に完全または部分的にあるすべての部分領域を背景に所属するものとして扱います。したがって、最適なセグメンテーションを取得するには、ラベル付けされるオブジェクトがいくつかの背景のピクセルに囲まれていて、多角形に完全に含まれていることを確認します。

    部分領域内のすべてのピクセルに同じラベルが付いています。多角形の外側のピクセルをマークしても、ラベルに影響を与えません。

  • 最後にラベル付けされた ROI を削除するには、Ctrl + Z を押します。

  • 各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると、新しいラベルで前のラベルが置き換えられます。

  • イメージをパンおよびズームするときは、ピクセルのラベル付けは無効になります。ピクセルのラベル付けを再開するには、[ラベル] ボタンをクリックしなければなりません。

  • イメージ内のすべてのピクセルに確実にラベルを付けるには、イメージ全体に 1 つのラベルを付けます。"空"、"道路" または "背景" などのイメージの主要な ROI を表すラベルを選択します。次に、ラベル付けツールを使用してオブジェクトに正しいラベルを再度付けます。

参照

[1] Rother, C., V. Kolmogorov, and A. Blake. "GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts". ACM Transactions on Graphics (SIGGRAPH). Vol. 23, Number 3, 2004, pp. 309–314.

参考

| |

関連するトピック