魚眼キャリブレーションの基礎

カメラのキャリブレーションは、カメラの外部パラメーターと内部パラメーターを計算するプロセスです。カメラのキャリブレーションを行うと、イメージ情報を使用して 2 次元イメージから 3 次元情報を復元できます。また、魚眼カメラで撮影したイメージの歪みを補正できます。Computer Vision Toolbox™ には、ピンホールカメラモデル用と魚眼カメラモデル用のキャリブレーションアルゴリズムが含まれています。魚眼カメラモデルで使用できる視野 (FOV) は 195 度までです。

魚眼カメラはオドメトリで、自己位置推定と環境地図作成の同時実行 (SLAM) の問題を視覚的に解決するために使用されます。360 度の視野 (FOV) およびスティッチングアルゴリズムを取得する他のアプリケーションには、監視システム、GoPro、バーチャルリアリティ (VR) などがあります。これらのカメラは、複雑な一連のレンズを使用してカメラの視野を拡大して、この視野を有効にして広いパノラマイメージや半球イメージを撮影します。ただし、レンズはイメージ内の投影の線を歪めることで、この極端な広角表示を達成します。

魚眼レンズが生成する極端な歪みのため、ピンホールモデルは魚眼カメラをモデル化できません。

The pinhole model and the fisheye model side-by-side

魚眼カメラモデル

Computer Vision Toolbox のキャリブレーションアルゴリズムでは、Scaramuzza [1] により提唱された魚眼カメラモデルを使用します。モデルでは、無指向性カメラモデルが使用されます。処理では撮像システムをコンパクトなシステムとして扱います。3 次元ワールドポイントを 2 次元イメージに関連付けるために、カメラの外部パラメーターと内部パラメーターを取得しなければなりません。ワールドポイントは外部パラメーターを使ってカメラ座標に変換されます。カメラ座標は内部パラメーターを使ってイメージ平面にマッピングされます。

外部パラメーター

外部パラメーターは、回転 R と変換 t で構成されています。カメラの座標系の原点はその光学的中心にあり、x 軸と y 軸でイメージ平面が定義されます。

Camera external to a checkerboard with origin located at the intersection of the four upper-left boxes. Extrinsics [Rt] transformation locates the origin in camera center.

ワールドポイントからカメラ点への変換は、次のように行われます。

Matrix operations showing w, (the scale factor) times the column vector x,y,1 (the image points) equal to P times times the column vector x,y,z,1 (the world points). Also, P, (the camera matrix) equal to K, (the intrinsics matrix) times the row vector R, t,(the extrinsics, and the rotation and translation).

内部パラメーター

魚眼カメラモデルの場合、内部パラメーターには投影関数の多項式のマッピング係数が含まれます。配置係数は、センサー配置およびセンサー平面からカメライメージ平面のピクセル位置への変換に関連しています。

次の方程式は、イメージポイントを対応する 3 次元ベクトルにマッピングします。

は、実際のワールドポイントの理想的なイメージ投影です。
は、スカラー係数を表します。
は、Scaramuzza モデルで記述される多項式です。ここで、です。
は、(u,v) の関数であり、イメージの中心からの点の距離のみに依存します。

内部パラメーターは、ストレッチおよび歪みも考慮します。ストレッチ行列は、センサーからレンズへの不整列を補正します。また歪みベクトルは、イメージ平面の (0,0) 位置を調整します。

次の方程式は、実際の歪んだ座標 (u'',v'') を理想的な歪んだ座標 (u,v) に関連付けます。

MATLAB での魚眼カメラキャリブレーション

魚眼イメージからレンズ歪みを除去するために、チェッカーボードキャリブレーションパターンを検出してから、カメラのキャリブレーションを行うことができます。関数 detectCheckerboardPoints および generateCheckerboardPoints を使用して、チェッカーボード点を検出できます。関数 estimateFisheyeParameters は、検出された点を使用して、魚眼カメラの内部パラメーターと外部パラメーターを含む fisheyeParameters オブジェクトを返します。fisheyeCalibrationErrors オブジェクトを使用して、キャリブレーションの精度を確認できます。

魚眼イメージのレンズ歪みの修正

ライブスクリプトを開く

チェッカーボードキャリブレーションパターンを検出してから、カメラのキャリブレーションを行うことで、魚眼イメージからレンズ歪みを除去します。次に結果を表示します。

一連のチェッカーボードのキャリブレーションイメージを収集します。

images = imageDatastore('calibrationImages');

イメージからキャリブレーションパターンを検出します。名前と値の引数 'PartialDetections' は、部分的にチェッカーボードを検出できるように、既定で true に設定されます。

[imagePoints,boardSize] = detectCheckerboardPoints(images.Files, 'HighDistortion', true);

チェッカーボードの正方形のコーナーのワールド座標を生成します。

squareSize = 20; % millimeters
worldPoints = generateCheckerboardPoints(boardSize,squareSize);

イメージ点およびワールドポイントに基づいて魚眼カメラのキャリブレーションパラメーターを推定します。最初のイメージを使用してイメージのサイズを取得します。

I = readimage(images,10); 
imageSize = [size(I,1) size(I,2)];
params = estimateFisheyeParameters(imagePoints,worldPoints,imageSize);

最初のイメージ I からレンズ歪みを除去して、結果を表示します。

J1 = undistortFisheyeImage(I,params.Intrinsics);
figure
imshowpair(I,J1,'montage')
title('Original Image (left) vs. Corrected Image (right)')

J2 = undistortFisheyeImage(I,params.Intrinsics,'OutputView','same', 'ScaleFactor', 0.2);
figure
imshow(J2)

title('Output View with low Scale Factor')

参照

[1] Scaramuzza, D., A. Martinelli, and R. Siegwart. "A Toolbox for Easy Calibrating Omnidirectional Cameras." Proceedings to IEEE International Conference on Intelligent Robots and Systems, (IROS). Beijing, China, October 7–15, 2006.