Computer Vision Toolbox™ は、コンピューター ビジョンや 3D ビジョン、動画処理システムの設計やテストを行うためのアルゴリズム、関数、アプリを提供します。オブジェクトの検出や追跡のほか、特徴点検出、特徴量抽出、マッチングを行うことができます。単一カメラ、ステレオカメラ、魚眼カメラのキャリブレーションワークフローを自動化することができます。3D ビジョンでは、ツールボックスが Visual SLAM および点群 SLAM、ステレオビジョン、structure from motion (SfM)、点群処理をサポートしています。コンピューター ビジョン アプリでは、グラウンドトゥルースのラベル付けやカメラ キャリブレーションのワークフローの自動化を行うことができます。
YOLO v2 や SSD、ACF などのディープラーニング アルゴリズムや機械学習アルゴリズムを使用すると、カスタムのオブジェクト検出器の学習を行うことができます。セマンティック セグメンテーションとインスタンス セグメンテーションには、U-Net や Mask R-CNN などのディープラーニング アルゴリズムを使用することができます。このツールボックスには、サイズが大きすぎてメモリに収まりきらない画像を解析するための、オブジェクト検出とセグメンテーションのアルゴリズムが用意されています。事前学習済みのモデルを使用すると、顔や歩行者、その他の一般的なオブジェクトを検出できます。
アルゴリズムを高速化するには、マルチコアプロセッサや GPU 上で実行します。ツールボックスのアルゴリズムでは、C/C++ コード生成がサポートされており、既存のコードとの統合やデスクトップ プロトタイピング、組み込みビジョンシステムの展開などを行うことができます。
詳細を見る:
Computer Vision Toolbox の導入事例
オブジェクトの検出と認識
YOLO v2、Faster R-CNN、ACF、Viola-Jones などのオブジェクト検出器を学習、評価、展開します。bag of visual words と OCR を使用してオブジェクト認識を行います。事前学習済みのモデルを使用して、顔や歩行者、その他のオブジェクトを検出します。
セマンティック セグメンテーション
画像や 3D ボリュームをセグメント化するには、SegNet、FCN、U-Net、DeepLab v3+ などのネットワークを使用して、個々のピクセルやボクセルを分類します。インスタンス セグメンテーションを使用してセグメンテーション マップを生成し、オブジェクト固有のインスタンスを検出します。
グラウンドトゥルースのラベル付け
ビデオラベラーアプリやイメージ ラベラー アプリを使用して、オブジェクト検出、セマンティック セグメンテーション、インスタンス セグメンテーション、およびシーン分類のラベル付けを自動化します。
単一カメラのキャリブレーション
カメラ キャリブレーター アプリを使用して、チェッカーボードの検出の自動化と、ピンホールカメラおよび魚眼カメラのキャリブレーションを行います。
ステレオ カメラ キャリブレーション
ステレオペアのキャリブレーションを実行し、深度の計算と 3D シーンの再構成を行います。
Visual SLAM と ビジュアルオドメトリ
SfM とビジュアルオドメトリを抽出します。
ステレオビジョン
ステレオカメラペアを使用して深度を推定し、3D シーンを再構築します。
Lidar 点群と 3D 点群の処理
Lidar 点群または 3D 点群のデータを使用して、幾何学的形状のセグメンテーション、クラスタリング、ダウンサンプリング、ノイズ除去、レジストレーション、および当てはめを行います。 Lidar Toolbox™ は、Lidar 処理システムの設計、解析、テストを行うための追加機能を提供します。
Lidar および点群 I/O
ファイル、Lidar システム、RGB-D センサーから点群の読み取り、書き込み、表示を行います。
点群のレジストレーション
正規分布変換 (NDT)、反復最近接点 (ICP)、コヒーレント点ドリフト (CPD)アルゴリズムを使用して 3D 点群のレジストレーションを行います。
セグメンテーションおよび形状当てはめ
点群をクラスターにセグメント化し、幾何学的形状を点群に当てはめます。自動運転アプリケーションとロボティクス アプリケーション用に Lidar データ内の接地平面をセグメント化します。
特徴点検出、特徴量抽出、およびマッチング
複数の画像から、BLOB やエッジ、コーナーなどの関心のある特徴を検出、抽出、およびマッチングします。
特徴に基づく画像レジストレーション
複数画像の特徴のマッチングによって、画像間の幾何学的変換を推定し、画像シーケンスのレジストレーションを行います。
オブジェクトの追跡
ビデオシーケンス内でオブジェクトの軌跡をフレーム毎に追跡します。
動き推定
オプティカルフロー、ブロックマッチング、テンプレート マッチングを使用して、ビデオフレーム間の動きを推定します。
コード生成
ツールボックスの関数、クラス、System object、およびブロック用の C/C++ コード、CUDA コード、MEX 関数を生成します。