Computer Vision Toolbox

コンピューター ビジョン、3D ビジョン、および動画処理システムの設計およびテスト

 

Computer Vision Toolbox™ は、コンピューター ビジョンや 3D ビジョン、動画処理システムの設計やテストを行うためのアルゴリズム、関数、アプリを提供します。オブジェクトの検出や追跡のほか、特徴点検出、特徴量抽出、マッチングを行うことができます。3D ビジョンについては、単一/ステレオ/魚眼のカメラ キャリブレーション、ステレオビジョン、3D 構造の再構築、および Lidar 点群と 3D 点群の処理に対応しています。コンピューター ビジョン アプリでは、グラウンドトゥルースのラベル付けやカメラ キャリブレーションのワークフローの自動化を行うことができます。

YOLO v2 や Faster R-CNN、ACF などのディープラーニング アルゴリズムや機械学習アルゴリズムを使用すると、カスタムのオブジェクト検出器の学習を行うことができます。セマンティック セグメンテーションでは、SegNet、U-Net、DeepLab などのディープラーニング アルゴリズムを使用できます。事前学習済みのモデルを使用すると、顔や歩行者、その他の一般的なオブジェクトを検出できます。

アルゴリズムを高速化するには、マルチコアプロセッサや GPU 上で実行します。このツールボックスのほとんどのアルゴリズムでは、C/C++ コード生成がサポートされており、既存のコードとの統合やデスクトップ プロトタイピング、組み込みビジョンシステムの展開などを行うことができます。

詳細を見る:

ディープラーニングと機械学習

ディープラーニングと機械学習を使用して、オブジェクトの検出、認識、セグメンテーションを行います。

オブジェクトの検出と認識

YOLO v2、Faster R-CNN、ACF、Viola-Jones などのオブジェクト検出器の学習、評価、展開を行うフレームワーク。オブジェクト認識機能には、bag of visual words や OCR などがあります。事前学習済みのモデルによって、顔や歩行者、その他のオブジェクトが検出されます。

Faster R-CNN を使ったオブジェクト検出。 

セマンティック セグメンテーション

画像や 3D ボリュームをセグメント化するには、SegNet、FCN、U-Net、DeepLab v3+ などのネットワークを使用して、個々のピクセルやボクセルを分類します。

グラウンドトゥルースのラベル付け

ビデオラベラーアプリやイメージ ラベラー アプリを使用して、オブジェクト検出、セマンティック セグメンテーション、シーン分類のラベル付けを自動化します。

ビデオラベラーアプリによるグラウンドトゥルースのラベル付け。

Lidar 点群と 3D 点群の処理

Lidar 点群または 3D 点群のデータを使用して、幾何学的形状のセグメンテーション、クラスタリング、ダウンサンプリング、ノイズ除去、レジストレーション、およびフィッティングを行います。Lidar Toolbox™ は、Lidar 処理システムの設計、解析、テストを行うための追加機能を提供します。

Lidar および点群 I/O

ファイルや Lidar、RGB-D センサーから点群の読み取り、書き込み、表示を行います。

点群のレジストレーション

正規分布変換 (NDT)、反復最近接点 (ICP)、コヒーレント点ドリフト (CPD) アルゴリズムを使用して 3D 点群のレジストレーションを行います。

一連の点群のレジストレーションと繋ぎ合わせ。

セグメンテーションおよび形状フィッティング

点群をクラスターにセグメント化し、幾何学的形状を点群にフィッティングします。自動運転アプリケーションとロボティクス アプリケーション用に Lidar データ内の接地平面をセグメント化します。

セグメント化された Lidar 点群。

カメラ キャリブレーション

カメラの内部、外部、およびレンズ歪みのパラメーターを推定します。

単一カメラのキャリブレーション

カメラ キャリブレーター アプリを使用して、チェッカーボードの検出の自動化と、ピンホールカメラおよび魚眼カメラのキャリブレーションを行います。

ステレオ カメラ キャリブレーション

ステレオペアのキャリブレーションを実行し、深度の計算と 3D シーンの再構成を行います。

ステレオ カメラ キャリブレーター アプリ。

3D ビジョンとステレオビジョン

複数の 2D ビューからシーンの 3D 構造を抽出します。ビジュアルオドメトリを使用して、カメラの動きと姿勢を推定します。

ステレオビジョン

ステレオカメラのペアを使用して、深度の推定と 3D シーンの再構築を行います。

相対深度を表すステレオ視差マップ。

特徴点検出、特徴量抽出、およびマッチング

オブジェクト検出、画像レジストレーション、物体認識を行うための特徴に基づくワークフロー。

特徴点の検出、抽出、およびマッチングによる要素の多いシーンでのオブジェクト検出。

特徴に基づく画像レジストレーション

複数画像の特徴のマッチングによって、画像間の幾何学的変換を推定し、イメージシーケンスのレジストレーションを行います。

特徴に基づくレジストレーションによって作成されたパノラマ。

オブジェクト追跡と動き推定

ビデオシーケンスとイメージシーケンス内の動きを推定し、オブジェクトを追跡します。

追跡したオブジェクトの軌跡を示す追跡痕。

動き推定

オプティカルフロー、ブロックマッチング、テンプレート マッチングを使用して、ビデオフレーム間の動きを推定します。

固定カメラを使用した移動するオブジェクトの検出。

OpenCV インターフェイス

MATLAB および Simulink と OpenCV ベースプロジェクトおよび関数とのインターフェイス

コード生成

アルゴリズムの開発をラピッド プロトタイピング、実装および検証のワークフローと統合します。

新機能

Mask-RCNN

ディープラーニングを用いたインスタンス セグメンテーションのための Mask-RCNN ネットワークの学習

Visual SLAM

3D ワールドポイントおよび 2D イメージポイントへの射影の対応付けを管理

AprilTag の姿勢推定

画像の AprilTags の姿勢を検出および推定

点群のレジストレーション

SLAM アプリケーションのための位相相関を用いた点群のレジストレーション

点群のループ閉じ込み

SLAM ループ閉じ込み検出のための点群の特徴記述

これらの機能や対応する関数の詳細については、リリースノートを参照してください。