セマンティックセグメンテーション

事前学習済み AI モデルを使用してグラウンドトゥルースにラベルを付け、セマンティックセグメンテーションを実行し、転移学習を使用して U-Net などのカスタムネットワークに学習させる

Computer Vision Toolbox™ のセマンティックセグメンテーションツールを使用すると、事前学習済みの AI モデルとカスタム深層学習ネットワークの両方を使用して、イメージのピクセルレベルの分類を実行できます。イメージラベラーアプリとビデオラベラーアプリを使用して、ラベル付きのグラウンドトゥルースを作成することから始められます。これらのアプリは、対話形式および AI アシストによる、クラスラベル付きのイメージやビデオ内でのピクセルレベルの注釈付けをサポートしています。詳細については、セマンティックセグメンテーションのピクセルのラベル付けを参照してください。

ツールボックスは、BiSeNet V2 などの事前学習済みセマンティックセグメンテーションモデルを提供します。これらのモデルは推論に直接使用することも、特定の用途に合わせて調整することもできます。U-Net、3 次元 U-Net、DeepLab v3+ などのアーキテクチャを用いた転移学習を使用して、カスタムセグメンテーションネットワークに学習させることもできます。詳細については、深層学習を使用したセマンティックセグメンテーション入門を参照してください。

学習データを準備するために、ツールボックスには、データセットの読み込みと管理に加え、ラベル分布の整理と解析を行うためのユーティリティが用意されています。ツールボックスは、データ拡張と前処理もサポートしています。詳細については、オブジェクト検出およびセマンティックセグメンテーション用の学習データを参照してください。

事前学習済みモデルまたはカスタムモデルを使用して予測を生成した後、セグメンテーション予測をグラウンドトゥルースと比較して評価し、輪郭マッチングスコア、Sørensen-Dice 類似度、Jaccard 類似度、混同行列などの評価メトリクスを計算できます。詳細については、evaluateSemanticSegmentation を参照してください。

Input image of a seascape, then a series of cubes representing a deep learning network, and a semantically segmented output image of the input image.

アプリ

イメージラベラー	コンピュータービジョンの応用に使用するラベルイメージ
ビデオラベラー	Label video for computer vision applications

関数

すべて展開する

事前学習済みセマンティックセグメンテーション AI モデル

`bisenetv2`	Create BiSeNet v2 convolutional neural network for semantic segmentation (R2025a 以降)
`semanticseg`	深層学習を使用したセマンティックイメージセグメンテーション

転移学習を使用したセマンティックセグメンテーションネットワークの学習

`bisenetv2`	Create BiSeNet v2 convolutional neural network for semantic segmentation (R2025a 以降)
`unet`	セマンティックセグメンテーション用の U-Net 畳み込みニューラルネットワークの作成 (R2024a 以降)
`unet3d`	Create 3-D U-Net convolutional neural network for semantic segmentation of volumetric images (R2024a 以降)
`deeplabv3plus`	セマンティックイメージセグメンテーション用の DeepLab v3+ 畳み込みニューラルネットワークの作成 (R2024a 以降)
`focalCrossEntropy`	Compute focal cross-entropy loss
`generalizedDice`	Generalized Sørensen-Dice similarity coefficient for image segmentation

学習データの読み込み

`combine`	複数のデータストアのデータを統合
`countEachLabel`	Count occurrence of pixel or box labels
`groundTruth`	グラウンドトゥルースラベルデータ
`imageDatastore`	イメージデータのデータストア
`pixelLabelDatastore`	ピクセルラベルデータのデータストア
`pixelLabelTrainingData`	Create training data for semantic segmentation from ground truth

学習データの拡張と前処理

`balancePixelLabels`	Balance pixel labels by oversampling block locations in large images
`imwarp`	イメージへの幾何学的変換の適用
`imcrop`	イメージのトリミング
`imresize`	イメージのサイズ変更
`transform`	データストアの変換
`randomAffine2d`	ランダムな 2 次元アフィン変換の作成
`randomWindow2d`	Randomly select rectangular region in image
`centerCropWindow2d`	四角形の中央トリミングウィンドウの作成

セマンティックセグメンテーションの結果の評価

`evaluateSemanticSegmentation`	グラウンドトゥルースに対してセマンティックセグメンテーションデータセットを評価する
`bfscore`	イメージのセグメンテーションのための輪郭マッチングスコア
`dice`	イメージセグメンテーションのための Sørensen-Dice 類似度係数
`jaccard`	イメージセグメンテーションのための Jaccard 類似度係数
`segmentationConfusionMatrix`	Confusion matrix of multi-class pixel-level image segmentation
`semanticSegmentationMetrics`	Semantic segmentation quality metrics

セグメンテーションの可視化

`labeloverlay`	2 次元イメージ上のラベル行列領域の重ね合わせ
`volshow`	ボリュームの表示
`insertObjectMask`	Insert masks in image or video stream

トピック

開始

深層学習を使用したセマンティックセグメンテーション入門
U-Net や DeepLab v3+ などの深層学習ネットワークを使用して、オブジェクトをクラス別にセグメント化する。
検出されたオブジェクトを可視化する関数の選択
可視化関数を比較する。

セマンティックセグメンテーション用のグラウンドトゥルースの作成

セマンティックセグメンテーションのピクセルのラベル付け
セマンティックセグメンテーションネットワークに学習させるために、ラベル付けアプリを使用して、ピクセルにラベルを付けます。
ラベラーアプリにおけるエクスポートしたピクセルラベルの保存方法
ラベル付けアプリがピクセルラベルデータを保存する方法を学習します。

セマンティックセグメンテーション用の学習データの準備

オブジェクト検出およびセマンティックセグメンテーション用の学習データ
イメージラベラーやビデオラベラーを使用して、オブジェクト検出器やセマンティックセグメンテーションの学習データを作成します。
深層学習用のデータストア (Deep Learning Toolbox)
深層学習アプリケーションでデータストアを使用する方法を学びます。
深層学習用イメージ前処理とイメージ拡張の入門
サイズ変更などの確定的演算を使用して深層学習アプリケーション用にデータを前処理する。あるいは、ランダムトリミングなどのランダム演算を使用して学習データを拡張する。