vSLAM

単眼、ステレオ、RGB-D の Visual simultaneous localization and mapping (vSLAM)、およびビジュアル慣性センサーフュージョン

Visual simultaneous localization and mapping (vSLAM) とは、環境地図作成を行うのと同時に、周囲に対するカメラの位置と向きを計算する処理を意味します。この処理では、カメラからの視覚的入力のみを使用します。Visual SLAM の用途には、拡張現実、ロボティクス、自動運転などがあります。Visual-inertial SLAM (viSLAM) は、カメラからの視覚的入力と IMU の位置データを融合させて SLAM の結果を改善するプロセスです。詳細については、MATLAB での Visual SLAM の実装を参照してください。

関数

すべて展開する

特徴の検出、抽出、およびマッチング

`detectSURFFeatures`	SURF 特徴の検出
`detectORBFeatures`	ORB キーポイントの検出
`extractFeatures`	関心点記述子の抽出
`matchFeatures`	マッチする特徴の検出
`matchFeaturesInRadius`	Find matching features within specified radius (R2021a 以降)

3 次元構造の再構成

`triangulate`	ステレオイメージでの歪み補正後のマッチする点の 3 次元位置
`img2world2d`	Determine world coordinates of image points (R2022b 以降)
`world2img`	イメージへのワールドポイントの投影 (R2022b 以降)

動きの推定

`estgeotform2d`	Estimate 2-D geometric transformation from matching point pairs (R2022b 以降)
`estgeotform3d`	Estimate 3-D geometric transformation from matching point pairs (R2022b 以降)
`estimateFundamentalMatrix`	ステレオイメージ内の対応する点から基礎行列を推定
`estworldpose`	3 次元対 2 次元の点の対応関係からのカメラ姿勢の推定 (R2022b 以降)
`findWorldPointsInView`	Find world points observed in view
`findWorldPointsInTracks`	Find world points that correspond to point tracks
`estrelpose`	カメラの姿勢間の相対的な回転と並進の計算 (R2022b 以降)

動きおよび 3 次元構造の最適化

`optimizePoses`	Optimize absolute poses using relative pose constraints
`createPoseGraph`	Create pose graph
`bundleAdjustment`	3 次元の点とカメラの姿勢のコレクションの調整
`bundleAdjustmentMotion`	Adjust collection of 3-D points and camera poses using motion-only bundle adjustment
`bundleAdjustmentStructure`	Refine 3-D points using structure-only bundle adjustment

結果の評価

`compareTrajectories`	Compare estimated trajectory against ground truth (R2024b 以降)
`trajectoryErrorMetrics`	Store accuracy metrics for trajectories (R2024b 以降)

結果の可視化

`imshow`	イメージの表示
`showMatchedFeatures`	対応する特徴点を表示
`plot`	Plot image view set views and connections
`plotCamera`	3 次元座標でのカメラのプロット
`pcshow`	3 次元点群のプロット
`pcplayer`	ストリーミング 3 次元点群データの可視化

データの管理

`bagOfFeatures`	bag of visual words オブジェクト
`bagOfFeaturesDBoW`	Bag of visual words using DBoW2 library (R2024b 以降)
`dbowLoopDetector`	Detect loop closure using visual features (R2024b 以降)
`imageviewset`	Manage data for structure-from-motion, visual odometry, and visual SLAM
`worldpointset`	Manage 3-D to 2-D point correspondences
`indexImages`	Create image search index
`invertedImageIndex`	Search index that maps visual words to images

単眼 Visual SLAM

`monovslam`	Visual simultaneous localization and mapping (vSLAM) and visual-inertial sensor fusion with monocular camera (R2023b 以降)
`addFrame`	Add image frame to visual SLAM object (R2023b 以降)
`hasNewKeyFrame`	Check if new key frame added in visual SLAM object (R2023b 以降)
`checkStatus`	Check status of visual SLAM object (R2023b 以降)
`isDone`	End-of-file status (logical)
`mapPoints`	Build 3-D map of world points (R2023b 以降)
`poses`	Absolute camera poses of key frames (R2023b 以降)
`plot`	Plot 3-D map points and estimated camera trajectory in visual SLAM (R2023b 以降)
`reset`	Reset visual SLAM object (R2023b 以降)

RGB-D Visual SLAM

`rgbdvslam`	Feature-based visual simultaneous localization and mapping (vSLAM) and visual-inertial sensor fusion with RGB-D camera (R2024a 以降)
`addFrame`	Add pair of color and depth images to RGB-D visual SLAM object (R2024a 以降)
`hasNewKeyFrame`	Check if new key frame added in RGB-D visual SLAM object (R2024a 以降)
`checkStatus`	Check status of visual RGB-D SLAM object (R2024a 以降)
`isDone`	End-of-processing status for RGB-D visual SLAM object (R2024a 以降)
`mapPoints`	Build 3-D map of world points from RGB-D vSLAM object (R2024a 以降)
`poses`	Absolute camera poses of RGB-D vSLAM key frames (R2024a 以降)
`plot`	Plot 3-D map points and estimated camera trajectory in RGB-D visual SLAM (R2024a 以降)
`reset`	Reset RGB-D visual SLAM object (R2024a 以降)

ステレオ Visual SLAM

`stereovslam`	Feature-based visual simultaneous localization and mapping (vSLAM) and visual-inertial sensor fusion with stereo camera (R2024a 以降)
`addFrame`	Add pair of color and depth images to stereo visual SLAM object (R2024a 以降)
`hasNewKeyFrame`	Check if new key frame added in stereo visual SLAM object (R2024a 以降)
`checkStatus`	Check status of stereo visual SLAM object (R2024a 以降)
`isDone`	End-of-processing status for stereo visual SLAM object (R2024a 以降)
`mapPoints`	Build 3-D map of world points from stereo vSLAM object (R2024a 以降)
`poses`	Absolute camera poses of stereo key frames (R2024a 以降)
`plot`	Plot 3-D map points and estimated camera trajectory in stereo visual SLAM (R2024a 以降)
`reset`	Reset stereo visual SLAM object (R2024a 以降)

トピック

MATLAB での Visual SLAM の実装
Visual simultaneous localization and mapping (vSLAM) ワークフローと、MATLAB を使用してそれを実装する方法について理解する。
Choose SLAM Workflow Based on Sensor Data
Choose the right simultaneous localization and mapping (SLAM) workflow and find topics, examples, and supported features.
Develop Visual SLAM Algorithm Using Unreal Engine Simulation (Automated Driving Toolbox)
Develop a visual simultaneous localization and mapping (SLAM) algorithm using image data from the Unreal Engine^® simulation environment.

注目の例

Simulate RGB-D Visual SLAM System with Cosimulation in Gazebo and Simulink

Simulates an RGB-D visual simultaneous localization and mapping (SLAM) system to estimate the camera poses using data from a mobile robot in Gazebo.

(ROS Toolbox)

R2024b 以降

Performant Monocular Visual-Inertial SLAM

Use visual inputs from a camera and positional data from an IMU to perform viSLAM in real time.

R2025a 以降
ライブスクリプトを開く

Monocular Visual-Inertial SLAM

Perform SLAM by combining images captured by a monocular camera with measurements from an IMU sensor.

ライブスクリプトを開く

Performant and Deployable Monocular Visual SLAM

Use visual inputs from a camera to perform vSLAM and generate multi-threaded C/C++ code.

ライブスクリプトを開く

単眼の Visual Simultaneous Localization and Mapping

Visual simultaneous localization and mapping (vSLAM)。

ライブスクリプトを開く

Performant and Deployable Stereo Visual SLAM with Fisheye Images

Use fisheye image data from a stereo camera to perform VSLAM and generate multi-threaded C/C++ code.

ライブスクリプトを開く

ステレオ Visual Simultaneous Localization and Mapping

ステレオカメラのイメージデータを処理して、屋外環境マップを作成し、カメラの軌跡を推定します。

ライブスクリプトを開く

Build and Deploy Visual SLAM Algorithm with ROS in MATLAB

Implement and generate C ++ code for a vSLAM algorithm that estimates poses for the TUM RGB-D Benchmark and deploy as an ROS node to a remote device.

ライブスクリプトを開く

Visual Localization in a Parking Lot

Develop a visual localization system using synthetic image data from the Unreal Engine® simulation environment.

ライブスクリプトを開く

3D シミュレーションでの UAV ナビゲーション向けステレオ Visual SLAM

ステレオカメラを搭載した UAV 用の Visual SLAM アルゴリズムの開発。

ライブスクリプトを開く

Estimate Camera-to-IMU Transformation Using Extrinsic Calibration

Estimate SE(3) transformation to define spatial relationship between camera and IMU.

ライブスクリプトを開く