単一カメラキャリブレーターアプリの使用

カメラキャリブレーターの概要

カメラキャリブレーターアプリを使用して、カメラの内部パラメーターを推定できます。これらのカメラパラメーターはさまざまなコンピュータービジョンアプリケーションに使用できます。これらのアプリケーションには、イメージからレンズ歪みの影響を除去する、平面オブジェクトを測定する、複数のカメラからの 3 次元シーンを再構成するなどの用途があります。

Camera capturing checkerboard calibration patterns posed at various angles. All checkerboard calibration patterns are within the field of view of the camera. Additional workflow diagram; Prepare, Add Images, Calibrate, Evalute, Improve, and Export.

次のワークフローを使用してカメラをキャリブレーションし、ベストプラクティスに従ってキャリブレーションイメージを準備およびキャプチャし、キャリブレーションの精度を評価します。

カメラキャリブレーターアプリには、カメラキャリブレーションワークフローを実装するための一連の関数が組み込まれています。これらの関数は、MATLAB^® ワークスペースで直接使用できます。これらの関数のリストについては、カメラのキャリブレーションのトピックを参照してください。

キャリブレーションパターンの選択

カメラキャリブレーターアプリは、チェッカーボード、円グリッド、およびカスタム検出器のパターンをサポートしています。これらの各パターンおよび印刷可能なパターンを含む PDF ファイルの詳細については、Calibration Patternsを参照してください。このアプリは、最大 195 度の視野 (FOV) をもつカメラをキャリブレーションできます。

キャリブレーションイメージのキャプチャ

最良のキャリブレーション結果を得るには、10 ～ 20 個のキャリブレーションパターンのイメージを使用します。キャリブレーターには少なくとも 3 個のイメージが必要です。非圧縮のイメージまたは PNG などの可逆圧縮形式を使用します。キャリブレーターが機能するには、キャリブレーションパターンとカメラの設定が一連の要件を満たしていなければなりません。カメラの設定およびイメージのキャプチャの詳細については、Prepare Camera and Capture Images For Camera Calibrationを参照してください。

カメラキャリブレーターアプリの使用

アプリを開く

MATLAB ツールストリップ: [アプリ] タブの [イメージ処理とコンピュータービジョン] セクションで、[カメラキャリブレーター] アイコンをクリックします。
MATLAB コマンドプロンプト: cameraCalibrator と入力します。

イメージの追加およびカメラモデルの選択

キャリブレーションを開始するには、イメージを追加しなければなりません。フォルダーから保存済みのイメージを追加したり、カメラから直接イメージを追加したりできます。キャリブレーターはイメージを解析し、イメージがキャリブレーターの要件を満たしていることを確認します。次に、キャリブレーターは選択されたパターンの点を検出します。カメラの設定およびイメージのキャプチャの詳細については、Prepare Camera and Capture Images For Camera Calibrationを参照してください。

ファイルからのイメージの追加

ライブイメージの取得

カメラキャリブレーターアプリは、UVC 準拠の Web カメラで動作します。MATLAB の Web カメラのサポートを使用して、Web カメラからライブイメージを取得できます。この機能を使用するには、MATLAB Support Package for USB Webcams をインストールしなければなりません。Webcam Acquisition Overviewを参照してください。ライブイメージを追加するには、次の手順に従います。

[キャリブレーション] タブの [ファイル] セクションで、[イメージの追加] をクリックして [カメラから] を選択します。
これにより、[カメラ] タブが開きます。システムに接続されている Web カメラが 1 つだけの場合、既定でその Web カメラがアプリによって選択され、ライブプレビューペインが開きます。複数のカメラが接続されており、既定以外のカメラを使用したい場合は、[カメラ] リストでそのカメラを選択します。
(オプション) イメージを制御するカメラのプロパティを設定します。[カメラプロパティ] を選択して、選択したカメラの [カメラプロパティ] ダイアログボックスを開きます。利用可能なプロパティは、デバイスによって異なります。
スライダーとリストを使用して、利用可能なプロパティの設定を変更します。設定を変更するたびに、プレビューペインが動的に更新されます。プロパティの設定が完了したら、ダイアログボックスの外側をクリックしてそれを閉じます。
[保存場所] ボックスに、取得したイメージファイルを保存する場所を入力します。フォルダーへのパスを入力するか、[参照] ボタンを使用します。指定するフォルダーに対する書き込み権限を持っている必要があります。
キャプチャパラメーターを設定します。
- イメージキャプチャ間隔の秒数を設定するには、[キャプチャ間隔 (秒)] のボックスまたはスライダーを使用します。既定は 5 秒、最小が 1 秒、最大が 60 秒です。
- イメージキャプチャの数を設定するには、[キャプチャするイメージの数] のボックスまたはスライダーを使用します。既定は 20 個のイメージ、最小が 2 個のイメージ、最大が 100 個のイメージです。
既定の構成では、5 秒ごとに 1 個ずつ、合計 20 個のイメージがキャプチャされます。
プレビューペインには、RGB データとしてストリーミングされたライブイメージが表示されます。デバイスのプロパティとキャプチャ設定を調整したら、プレビューウィンドウをガイドとして使用して、キャプチャするパターンイメージを取得するためにカメラの位置を合わせます。
[キャプチャ] を選択します。指定された数のイメージがアプリによってキャプチャされ、スナップショットのサムネイルが [データブラウザー] ペインに表示されます。自動的にインクリメンタルな名前が付けられ、.png ファイルとしてキャプチャされます。
[Stop Capture] を選択すると、指定した数のイメージがキャプチャされる前にイメージキャプチャを停止できます。
パターンのイメージをキャプチャする際、指定した数のイメージがキャプチャされると、アプリによって [イメージとパターンのプロパティ] ダイアログボックスが表示されます。イメージ内のキャリブレーションパターンを選択し、パターンのプロパティを指定します。[OK] をクリックします。
その後、アプリによって検出結果が計算され、表示されます。
[検出結果] ダイアログボックスを閉じるには、[OK] をクリックします。
ライブイメージの取得が終了したら、[イメージキャプチャを閉じる] を選択して [カメラ] タブを閉じます。

イメージを追加すると、セッションに [イメージとパターンのプロパティ] ダイアログボックスが表示されます。キャリブレーターがキャリブレーションパターンを解析する前に、パターン構造を検出しイメージプロパティを設定できるようにキャリブレーションパターンを選択しなければなりません。このダイアログの詳細については、キャリブレーションパターンの選択とプロパティの設定を参照してください。

イメージの解析

イメージと検出点の表示

キャリブレーション

承認されたイメージが満足のいく状態であれば、[キャリブレーション] タブの [キャリブレーション] を選択します。既定のキャリブレーション設定では、カメラパラメーターの最小セットを使用します。まず、既定の設定でキャリブレーションを実行します。結果を評価した後、設定を調整するか、イメージを追加または削除してから、再度キャリブレーションを行うことで、キャリブレーションの精度を改善できます。標準カメラモデルと魚眼カメラモデルを切り替える場合は、再キャリブレーションしなければなりません。

魚眼カメラモデルのキャリブレーションについては、魚眼キャリブレーションの基礎を参照してください。

標準カメラモデルのキャリブレーションアルゴリズムでは、次のピンホールカメラモデルを想定しています。

$w [\begin{matrix} x & y & 1 \end{matrix}] = [\begin{matrix} X & Y & Z & 1 \end{matrix}] [\begin{matrix} R \\ t \end{matrix}] K$

(X,Y,Z) — 点のワールド座標。
(x,y) — 対応するイメージポイントのイメージ座標 (ピクセル単位)。
w — 任意の同次座標スケール係数。
K — カメラの内部パラメーターの行列。次のように定義されます。

$[\begin{matrix} f_{x} & 0 & 0 \\ s & f_{y} & 0 \\ c_{x} & c_{y} & 1 \end{matrix}]$
座標 (c_x, c_y) は、光学的中心 (主点) をピクセル単位で表します。x 軸と y 軸が厳密に直交する場合、せん断パラメーター s は 0 に等しくなります。行列要素は次のように定義されます。
- f_x = F*s_x。ピクセル単位で表されます。
- f_y = F*s_y。ピクセル単位で表されます。
- F は焦点距離のワールド単位で、通常はミリメートル単位で表されます。
- s_x と s_y は、それぞれ x と y のワールド単位あたりのピクセル数です。
R — カメラの 3 次元回転を表す行列。
t — ワールド座標系に対するカメラの並進。

カメラのキャリブレーションアルゴリズムでは、内部パラメーター、外部パラメーター、および歪み係数の値を推定します。カメラのキャリブレーションには、次の手順が含まれます。

レンズ歪みをゼロと仮定し、閉形式で内部パラメーターと外部パラメーターを求めます。[1]
非線形最小二乗の最小化 (レーベンバーグ・マルカートアルゴリズム) を使用して、歪み係数を含むすべてのパラメーターを同時に推定します。前の手順で求めた閉形式の解を、内部パラメーターと外部パラメーターの初期推定値として使用します。歪み係数の初期推定値をゼロに設定します。[1][2]

キャリブレーション結果の評価

再投影誤差を調べたり、カメラの外部パラメーターを調べたり、歪み補正後のイメージを表示したりすることで、キャリブレーションの精度を評価できます。最良のキャリブレーション結果を得るには、3 つの評価方法すべてを使用します。

Camera calibration results, displaying undistorted image, reprojection errors chart, and camera extrinsics diagram

再投影誤差の検証

外部パラメーターの可視化の検証

歪み補正後のイメージの表示

キャリブレーションの改善

キャリブレーションを改善するために、誤差の大きいイメージを削除したり、イメージを追加したり、キャリブレーター設定を変更したりできます。

次の場合は、さらにイメージを追加することを検討します。

イメージが 10 個未満。
キャリブレーションパターンが、イメージフレームを十分にカバーしていない。
カメラに対するキャリブレーションパターンの向きの変化が十分でない。

次のようなイメージの場合は、イメージを削除することを検討します。

平均再投影誤差が大きい。
ぼやけている。
カメラ面に対して 45 度を超える角度のキャリブレーションパターンが含まれている。
キャリブレーションパターンの点が誤って検出されている。

カメラパラメーターのエクスポート

キャリブレーションの精度に問題がなければ、標準カメラモデルの場合は [カメラパラメーターのエクスポート]、魚眼カメラモデルの場合は [カメラパラメーターのエクスポート] を選択します。カメラパラメーターを MATLAB ワークスペース内のオブジェクトにエクスポートするか、カメラパラメーターを MATLAB スクリプトとして生成することができます。既定値が適切に機能する場合、パラメーターをエクスポートする前に調整する必要はありません。

カメラパラメーターのエクスポート

MATLAB スクリプトの生成

参照

[1] Zhang, Z. “A Flexible New Technique for Camera Calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence. 22, no. 11 (November 2000): 1330–34. https://doi.org/10.1109/34.888718.

[2] Heikkila, J., and O. Silven. “A Four-step Camera Calibration Procedure with Implicit Image Correction.” In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1106–12. San Juan, Puerto Rico: IEEE Comput. Soc, 1997. https://doi.org/10.1109/CVPR.1997.609468.

[3] Scaramuzza, Davide, Agostino Martinelli, and Roland Siegwart. "A Toolbox for Easily Calibrating Omnidirectional Cameras." In Proceedings of IEEE International Workshop on Intelligent Robots and Systems 2006 (IROS 2006), 5695–701. Beijing, China: IEEE, 2006. https://doi.org/10.1109/IROS.2006.282372

[4] Urban, Steffen, Jens Leitloff, and Stefan Hinz. “Improved Wide-Angle, Fisheye and Omnidirectional Camera Calibration.” ISPRS Journal of Photogrammetry and Remote Sensing 108 (October 2015): 72–79. https://doi.org/10.1016/j.isprsjprs.2015.06.005.

参考