検出と追跡

LiDAR 点群データでのオブジェクト検出、形状当てはめ、追跡

"オブジェクト検出" は、シーン内のオブジェクトを識別して位置を特定する手法です。これにより、点群から 3 次元オブジェクトを検出できます。Lidar Toolbox™ には、オブジェクトを検出するための機能として、幾何学的形状当てはめを使用する機能と畳み込みニューラルネットワークによる深層学習を使用する機能が含まれています。

幾何学的形状当てはめ — 地面セグメンテーションと平面当てはめのアルゴリズムを使用して、点群のオブジェクトの 3 次元ジオメトリを検出します。各オブジェクトの位置、寸法、および向きを検出できます。検出されたオブジェクトは、追跡、パスプランニング、ラベル付けなどの下流のワークフローに使用できます。

深層学習 — 深層学習によるオブジェクト検出のアプローチでは、畳み込みニューラルネットワークを使用してオブジェクト検出を実行します。Lidar Toolbox には、PointPillars や Complex-YOLO v4 などのニューラルネットワークを使用するオブジェクト検出ワークフローが含まれています。カスタムのオブジェクト検出モデルに学習させることも、用意されている事前学習済みのネットワークを用途に合わせて調整して使用することもできます。このツールボックスでは、PointPillars および SqueezeSegV2 のネットワーク向けに CUDA^® MEX コード生成もサポートしています。

"オブジェクト追跡" は、シーンの複数のスキャンからオブジェクトの動きを推定して追跡する手法です。オブジェクト追跡は、検出されたオブジェクトに一意の ID を割り当て、その動きを点群フレームで追跡することによって行われます。Lidar Toolbox には、車両、車線、縁石を検出して追跡するワークフローが含まれています。これらのワークフローのほとんどで、Joint Probabilistic Data Association (JPDA) トラッカーを使用しています。

Deep learning-based object detection in lidar point clouds.

関数

すべて展開する

幾何学的

形状当てはめ

`pcfitcuboid`	点群に直方体を当てはめ (R2020b 以降)
`pcfitplane`	3 次元点群への平面の近似

幾何学的モデル

`planeModel`	パラメトリック平面モデルを格納するオブジェクト
`cuboidModel`	パラメトリック直方体モデル (R2020b 以降)

深層学習

学習データの読み込み

`groundTruth`	グラウンドトゥルースラベルデータ
`combine`	複数のデータストアのデータを統合
`fileDatastore`	カスタムファイルリーダーを使用するデータストア
`boxLabelDatastore`	Datastore for bounding box label data (R2019b 以降)

学習データの拡張と前処理

`randomAffine3d`	ランダムな 3 次元アフィン変換の作成 (R2019b 以降)
`bboxwarp`	Apply geometric transformation to bounding boxes (R2019b 以降)
`pctransform`	3 次元点群の変換

オブジェクト検出

`pointPillarsObjectDetector`	PointPillars オブジェクト検出器 (R2021b 以降)
`trainPointPillarsObjectDetector`	Train PointPillars object detector (R2021b 以降)
`lidarLaneDetector`	Create lane detector for lidar data (R2023b 以降)
`detect`	Detect objects using PointPillars object detector (R2021b 以降)
`detectLOAMFeatures`	Detect LOAM feature points from 3-D lidar data (R2022a 以降)
`lidarObjectDetectorTrainingData`	Create training data for lidar object detection (R2022a 以降)

結果の可視化

`showShape`	Display shapes on image, video, or point cloud (R2020b 以降)
`pcshow`	3 次元点群のプロット

結果の検証

`evaluateObjectDetection`	Evaluate object detection data set against ground truth (R2023b 以降)
`objectDetectionMetrics`	Object detection quality metrics (R2023b 以降)
`bboxOverlapRatio`	境界ボックスのオーバーラップ率の計算

トピック

Deep Learning with Point Clouds
Learn point cloud processing using deep learning.
PointPillars 入門
PointPillars ネットワークの定義と同じものを使用してオブジェクト検出を実行する方法の説明。
深層学習用のデータストア (Deep Learning Toolbox)
深層学習アプリケーションでデータストアを使用する方法を学びます。
深層学習層の一覧 (Deep Learning Toolbox)
MATLAB^® のすべての深層学習層を確認できます。

注目の例

Determine Safe Landing Area for Aerial Vehicles

Demonstrates how to determine a safe landing area for aerial vehicles, such as helicopters and UAVs, by using aerial lidar data.

ライブスクリプトを開く

Lidar Object Detection Using Complex-YOLO v4 Network

Detect objects in point clouds using you only look once version 4 (YOLO v4) deep learning network. In this example, you will

ライブスクリプトを開く

Code Generation for Lidar Object Detection Using SqueezeSegV2 Network

Generate CUDA® MEX code for a lidar object detection network. In the example, you first segment the point cloud with a pretrained network, then cluster the points and fit 3-D bounding boxes to each cluster. Finally, you generate MEX code for the network.

ライブスクリプトを開く

PointPillars 深層学習を使用した LiDAR の 3 次元オブジェクト検出

点群でのオブジェクト検出用に PointPillars ネットワークに学習させる。

ライブスクリプトを開く

PointPillars 深層学習を使用した LiDAR オブジェクト検出用のコード生成

この例では、PointPillars オブジェクト検出器用に CUDA® MEX を生成する方法を説明します。詳細については、Lidar Toolbox™ のPointPillars 深層学習を使用した LiDAR の 3 次元オブジェクト検出の例を参照してください。

ライブスクリプトを開く

Data Augmentations for Lidar Object Detection Using Deep Learning

Perform typical data augmentation techniques for 3-D object detection workflows with lidar data.

ライブスクリプトを開く

Lane Detection in 3-D Lidar Point Cloud

Detect lanes in lidar point clouds. You can use the intensity values returned from lidar point clouds to detect ego vehicle lanes. You can further improve the lane detection by using a curve-fitting algorithm and tracking the curve parameters. Lidar lane detection enables you to build complex workflows like lane keep assist, lane departure warning, and adaptive cruise control for autonomous driving. A test vehicle collects the lidar data using a lidar sensor mounted on its rooftop.

ライブスクリプトを開く

Curb Detection and Tracking in 3-D Lidar Point Cloud

Detect and track curbs in lidar point clouds. A curb is a line of stone or concrete, that connects the roadway to the sidewalk. Curbs act as delimiters for the drivable area of the road.

ライブスクリプトを開く

LiDAR を使用した車両の検出、分類、および追跡

エゴビークルに取り付けられている LiDAR センサーによって取得された LiDAR 点群データを使用して、車両を検出、分類、追跡する。

ライブスクリプトを開く

Track Vehicles Using Lidar: From Point Cloud to Track List

Track vehicles using measurements from a lidar sensor mounted on top of an ego vehicle. Lidar sensors report measurements as a point cloud. The example illustrates the workflow in MATLAB® for processing the point cloud and tracking the objects. For a Simulink® version of the example, refer to Track Vehicles Using Lidar Data in Simulink (Sensor Fusion and Tracking Toolbox).The lidar data used in this example is recorded from a highway driving scenario. In this example, you use the recorded data to track vehicles with a joint probabilistic data association (JPDA) tracker and an interacting multiple model (IMM) approach.

スクリプトを開く

Track-Level Fusion of Radar and Lidar Data

Generate an object-level track list from measurements of a radar and a lidar sensor and further fuse them using a track-level fusion scheme. You process the radar measurements using an extended object tracker and the lidar measurements using a joint probabilistic data association (JPDA) tracker. You further fuse these tracks using a track-level fusion scheme. The schematic of the workflow is shown below.

スクリプトを開く