セマンティックセグメンテーションのピクセルのラベル付け

イメージラベラー、ビデオラベラー、グラウンドトゥルースラベラー (Automated Driving Toolbox)、および医用画像ラベラー (Medical Imaging Toolbox) アプリでピクセルのラベルを手動で割り当てます。各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルは、セマンティックセグメンテーションアルゴリズムの学習用のグラウンドトゥルースデータを作成するために使用します。

ピクセルのラベル付けの開始

最初に、イメージ、ビデオ、またはイメージシーケンスをラベル付けアプリに読み込んで、ピクセルの ROI ラベルを定義します。詳細については、次を参照してください。

イメージラベラー — イメージラベラー入門
ビデオラベラー — ビデオラベラー入門
グラウンドトゥルースラベラー — グラウンドトゥルースのラベル付けを始める (Automated Driving Toolbox)
医用画像ラベラー — Get Started with Medical Image Labeler (Medical Imaging Toolbox)

この例では、ビデオラベラーを使用したピクセルのラベル付けを示します。ビデオラベラーまたはグラウンドトゥルースラベラーを使用してビデオやイメージシーケンスにラベルを付けたり、イメージラベラーをイメージコレクション用に使用したりできます。

[ROI ラベル] ペインからピクセルのラベル定義を選択します。多角形、ブラシまたは塗りつぶしを使用してピクセルに手動でラベルを付けるツールを含む [ピクセルのラベル付け] タブが開きます。ラベル付けツールを任意の順番で使用できます。このタブには、ズームやパンによってイメージの表示を調整したり、ラベルの不透明度を調整するためのコントロールもあります。

この例では、2 つの一般的な方法を使用して高速道路のイメージのピクセルにラベルを付けます。

最初に [塗りつぶし]、[スーパーピクセル]、および [スマートポリゴン] などの半自動ツールを使用します。次に、[多角形]、[補助付きフリーハンド] および [ブラシ] などのより直接的な制御を提供するツールを使用してラベルを調整します。
最初にオブジェクトの境界が大まかに推定される遠くのオブジェクトにラベルを付けます。次に、オブジェクト境界がより正確な近くのオブジェクトにラベルを付けます。

塗りつぶしツールを使用したピクセルのラベル付け

[塗りつぶし] ツールは、類似色をもつ接続されたピクセルのグループにラベルを付けます。このイメージでは、明るい空の境界は暗い色の植生および陸橋に対して明確であるため、空は塗りつぶしの適切な候補です。対照的に、植生の色は隣接するフェンス、道路および車両と差がほとんどないため、塗りつぶしで植生を分離することはできません。

[塗りつぶし] を使用してピクセルにラベルを付けるには、次を行います。

[塗りつぶし] とラベルを選択します。ポインターが塗料缶に変わります。
イメージの開始ピクセルをクリックします。

Ctrl + Z を押すと、塗りつぶしまたはその他のラベル付け操作を取り消すことができます。

スーパーピクセルツールを使用したピクセルのラベル付け

[スーパーピクセル] ツールは、調整可能なサイズのピクセルグリッドのセクションにラベルを付けます。シーン内のオブジェクトをすばやく定義できます。ピクセルラベル定義を作成すると、[スーパーピクセル] ツールがツールストリップに表示されます。

[スーパーピクセル] を使用してピクセルにラベルを付けるには、次を行います。

ツールストリップから [スーパーピクセル] ツールを選択します。アプリは、イメージ上にスーパーピクセルグリッドレイアウトを作成します。グリッド解像度は、[グリッド数] スライダーを使用して変更できます。
事前定義されたピクセルラベル定義を選択してから、グリッドを左クリックして選択します。グリッドの色が、選択したピクセルラベルの色と一致するように変化します。各グリッドを左クリックするか、マウスの左ボタンを押したままポインタを連続して動かすことで、複数のグリッドを選択できます。絞り込みツールを使用して、ラベル付け中いつでも選択を変更できます。
ラベル付け中に、必要に応じて [グリッド数] を変更し、領域の取得が最適になるようにします。たとえば、広い領域にラベルを付けるには、グリッド数を減らします。領域のエッジをより正確に取得するには、グリッド数を増やします。

スマートポリゴンツールを使用したピクセルのラベル付け

[スマートポリゴン] ツールは、描画する多角形内の対象オブジェクトの形状を推定します。オブジェクトの形状がシンプルな多角形ではない場合、このツールは便利です。この例では、[スマートポリゴン] を使用して、空に対して複雑な境界を持つ植生にラベルを付けます。

[スマートポリゴン] を使用してピクセルにラベルを付けるには、次を行います。

ツールおよびラベルを選択します。ポインターが十字に変わります。
クリックして多角形の頂点を追加します。オブジェクトおよび多角形の間にスペースを空けて、対象オブジェクトを完全に囲みます。
他の頂点を配置した後に最初の頂点をクリックして、多角形を閉じます。またはダブルクリックして最後の頂点を追加し、1 ステップで多角形を閉じることができます。
多角形を閉じると、ツールは初期ラベルを描画します。

多角形の形状と位置を調整します。対象オブジェクトがイメージの端まで拡張している場合、頂点をイメージの端までドラッグして、スマートポリゴンがオブジェクトを完全に囲むようにします。たとえば、この例はイメージの左端に配置されている左端の 2 つの頂点を示します。

スマートポリゴンの操作

目的	コントロール
頂点の移動	頂点をクリックしてドラッグします。
頂点の追加	新しい頂点の位置にある多角形の境界を右クリックし、[点の追加] を選択します。境界上の点をダブルクリックします。
頂点の削除	頂点を右クリックし、[頂点の削除] を選択します。
多角形の移動	多角形の境界上の任意の点 (頂点を除く) をクリックしてドラッグします。
多角形の削除	多角形の境界を右クリックし、[多角形の削除] を選択します。

[スマートポリゴンエディター] ツールを使用してラベルを調整します。
- [前景をマーク] を選択してラベルを付ける領域内の領域にマークします。前景マークは緑で表示されます。
- [背景をマーク] を選択してラベルを付けない領域内の領域にマークします。背景マークは赤で表示されます。
- [マークを消去] を選択して不要になった前景マークまたは背景マークを削除します。
- [スマートポリゴン] ツールの使用に関する他の提案については、ヒントを参照してください。
ラベルを完成させるには、"Enter" キーを押すか、[ROI ラベル] ペインから新しいラベルを選択します。多角形の頂点を編集したり、前景領域および背景領域にマークしたりできなくなります。

多角形ツールを使用したピクセルのラベル付け

[多角形] ツールは、描画する多角形内のすべてのピクセルにラベルを付けます。多角形の頂点を定義および調整するためのコントロールは、[スマートポリゴン] ツールのコントロールと同様です。

フェンスや道路などの構造物上にさらに多角形を追加します。多くの車両のピクセルには誤ったラベルが付いています。次の手順では、誤ったラベルを正しいラベルに置き換える方法を示します。

補助付きフリーハンドツールを使用したピクセルのラベル付け

[補助付きフリーハンド] ツールを使用すると、ベースのイメージ内の被写体のエッジに自動的に従う ROI を描画できます。また、マウスを使用して、ROI のサイズと位置を調整することもできます。

ピクセルのラベルの置き換え

各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると、新しいラベルで前のラベルが置き換えられます。

この例では、[スマートポリゴン] ツールを使用してトラックに属するピクセルにラベルを付けます。前景マークは "車両" ラベルを部分領域に割り当てます。背景マークは部分領域を前のラベルに戻します。たとえば、最初のイメージのペアでは、背景マークは部分領域を "空" および "植生" のラベルに戻します。同様に、2 番目のイメージのペアでは、背景マークは部分領域を "道路" のラベルに戻します。

[スマートポリゴン] は個々のピクセルではなく部分領域全体にラベルを付けるため、トラックの境界はギザギザです。次の手順では、ラベルをトラックの境界に合わせて調整する方法を示します。

ブラシツールを使用したラベルの調整

[ブラシ] ツールは、マウスでイメージに描画するときにピクセルにラベルを付けます。この例では、[ブラシ] を使用して道路からスパーを削除して、トラックの端を滑らかにします。

[ブラシ] を使用してピクセルにラベルを付けるには、次を行います。

ツールおよびラベルを選択します。ポインターがペンに変わり、四角が表示されてブラシのサイズを示します。
[ブラシサイズ] スライダーを使用してブラシのサイズを調整します。
マウスをクリックアンドドラッグして、ピクセルにラベルを付けます。

[消去] ツールは、マウスでイメージに描画するときにピクセルのラベルを削除します。

ピクセルのラベルの可視化

イメージのビューを変更して、ピクセルのラベル付けを簡素化できます。[ズームイン]、[ズームアウト]、および [パン] オプションを使用すると、マウスでイメージをズームおよびパンすることができます。ピクセルのラベル付けを再開するには、[ラベル] アイコンをクリックします。

[ラベルの不透明度] スライダーで、すべてのピクセルラベルの不透明度を調整します。

イメージをより明確に表示するには、不透明度を小さくします。たとえば、不透明度を小さくすると車の下部と道路の間の境界がわかりやすくなります。
セグメンテーションをより明確に表示するには、不透明度を大きくします。たとえば、不透明度を大きくすると車のフロントバンパーに沿った端が滑らかになります。また、フェンスおよび遠くにある数台の車両のピクセルにはラベルが付いていないことがわかります。

これが最後のピクセルラベル付きイメージです。

ヒント

[スマートポリゴン] ツールは、局所的グラフに基づくセグメンテーション ("GrabCut") を使用して対象オブジェクトを特定します [1]。[スマートポリゴン] ツールは、イメージを部分領域に分割します。ツールは、多角形の外側に完全または部分的にあるすべての部分領域を背景に所属するものとして扱います。したがって、最適なセグメンテーションを取得するには、ラベル付けされるオブジェクトがいくつかの背景のピクセルに囲まれていて、多角形に完全に含まれていることを確認します。
部分領域内のすべてのピクセルに同じラベルが付いています。多角形の外側のピクセルをマークしても、ラベルに影響を与えません。
最後にラベル付けした ROI を削除するには、Ctrl+Z を押します。フレーム内のすべてのピクセルを削除するには、Ctrl+Shift+Delete を押します。
フレーム内のすべてのピクセルを切り取りまたはコピーするには、Ctrl+Shift+X または Ctrl+Shift+C を押します。切り取ったまたはコピーしたピクセルを貼り付けるには、Ctrl+Shift+V を押します。
各ピクセルは最大 1 つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると、新しいラベルで前のラベルが置き換えられます。
イメージをパンおよびズームするときは、ピクセルのラベル付けは無効になります。ピクセルのラベル付けを再開するには、[ラベル] ボタンをクリックしなければなりません。
イメージ内のすべてのピクセルに確実にラベルを付けるには、イメージ全体に 1 つのラベルを付けます。"空"、"道路" または "背景" などのイメージの主要な ROI を表すラベルを選択します。次に、ラベル付けツールを使用してオブジェクトに正しいラベルを再度付けます。
すべてのピクセル、または残りのすべてのピクセルを塗りつぶすには、リストから ROI ラベルを選択し、Shift キーを押しながらクリック (左クリックまたは右クリックを使用可能) します。

参照

[1] Rother, C., V. Kolmogorov, and A. Blake. "GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts". ACM Transactions on Graphics (SIGGRAPH). Vol. 23, Number 3, 2004, pp. 309–314.