キャリブレーションとセンサーフュージョン

対話的な LiDAR カメラキャリブレーションの実行、変換行列の推定、複数センサーからのデータの融合

製造業、運輸業、建設業などの用途における、ほとんどの最新自律システムでは、複数のセンサーが採用されています。"センサーフュージョン" は、レーダーセンサー、LiDAR センサー、カメラなど、複数のセンサーからのデータをまとめるプロセスです。融合されたデータでは、各センサーの長所を活用して他のセンサーの制限が克服されるため、より高い精度を実現できます。

個々のセンサーからのデータを理解して相互に関連付けるには、センサー間の幾何学的対応を開発する必要があります。"キャリブレーション" は、この対応を開発するプロセスです。Lidar Toolbox™ の関数を使用して、LiDAR カメラキャリブレーションを実行します。開始するには、LiDAR カメラキャリブレーションとはを参照してください。

LiDAR カメラキャリブレーターアプリを使用して、センサーのキャリブレーションを対話的に実行することもできます。詳細については、Get Started with Lidar Camera Calibratorを参照してください。

Lidar Toolbox では、イメージへの LiDAR 点の投影、LiDAR 点群のカラー情報の融合、カメラデータから LiDAR データへの境界ボックスの転送など、下流のワークフローもサポートされています。

アプリ

LiDAR カメラキャリブレーター

センサーデータを融合するために LiDAR センサーとカメラの間の対応を対話的に確立する (R2021a 以降)

関数

すべて展開する

キャリブレーションパラメーターの検出

`estimateCheckerboardCorners3d`	Estimate world frame coordinates of checkerboard corner points in image (R2020b 以降)
`detectRectangularPlanePoints`	点群から指定した寸法の四角形平面を検出 (R2020b 以降)

LiDAR とカメラのキャリブレーション

estimateLidarCameraTransform Estimate rigid transformation from lidar sensor to camera (R2020b 以降)

センサーデータの融合

`projectLidarPointsOnImage`	LiDAR 点群データをイメージ座標系に投影 (R2020b 以降)
`fuseCameraToLidar`	Fuse image information to lidar point cloud (R2020b 以降)
`bboxCameraToLidar`	Estimate 3-D bounding boxes in point cloud from 2-D bounding boxes in image (R2020b 以降)
`bboxLidarToCamera`	Estimate 2-D bounding box in camera frame using 3-D bounding box in lidar frame (R2021a 以降)

トピック

LiDAR カメラキャリブレーションとは
LiDAR とカメラのデータを融合する。
Calibration Guidelines
Guidelines to help you achieve accurate results for lidar-camera calibration.
Coordinate Systems in Lidar Toolbox
Overview of coordinate systems in Lidar Toolbox.
Get Started with Lidar Camera Calibrator
Interactively calibrate lidar and camera sensors.
rosbag ファイルからの LiDAR とカメラのデータの読み取り
この例では、rosbag ファイルからイメージと点群のデータを読み取って保存する方法を示します。

注目の例

LiDAR とカメラのキャリブレーション

この例では、3 次元 LiDAR センサーとカメラの間の剛体変換を推定し、その剛体変換行列を使用して LiDAR とカメラのデータを融合する方法を示します。

ライブスクリプトを開く

Multi-Lidar Calibration

Calibrate multiple 3-D lidar sensors mounted on a vehicle to estimate a relative transformation between them. Traditional methods, such as marker-based registration, are difficult when the lidar sensors have a negligible overlap between their fields of view (FOVs). The calibration also becomes more difficult as the number of lidar sensors increases. This example demonstrates the use of the trajectories of individual lidar sensors to estimate the transformation between them. This method of calibration is also known as hand-eye calibration.

ライブスクリプトを開く

Detect Vehicles in Lidar Using Image Labels

Detect vehicles in lidar using label data from a co-located camera with known lidar-to-camera calibration parameters. Use this workflow in MATLAB® to estimate 3-D oriented bounding boxes in lidar based on 2-D bounding boxes in the corresponding image. You will also see how to automatically generate ground truth as a distance for 2-D bounding boxes in a camera image using lidar data. This figure provides an overview of the process.

ライブスクリプトを開く

Track-Level Fusion of Radar and Lidar Data

Generate an object-level track list from measurements of a radar and a lidar sensor and further fuse them using a track-level fusion scheme. You process the radar measurements using an extended object tracker and the lidar measurements using a joint probabilistic data association (JPDA) tracker. You further fuse these tracks using a track-level fusion scheme. The schematic of the workflow is shown below.

スクリプトを開く