単一カメラキャリブレーターアプリ

カメラキャリブレーターの概要

カメラキャリブレーターアプリを使用してカメラの内部、外部およびレンズ歪みのパラメーターを推定できます。これらのカメラパラメーターはさまざまなコンピュータービジョンアプリケーションに使用できます。これらのアプリケーションは、イメージからレンズ歪みの影響を除去する、平面オブジェクトを測定する、複数のカメラからの 3 次元シーンを再構成するなどを行います。

カメラキャリブレーター アプリで使用される一連のキャリブレーション関数により、カメラキャリブレーションのワークフローが提供されます。これらの関数は MATLAB^® ワークスペースで直接使用できます。関数の一覧は、カメラのキャリブレーションを参照してください。

単一カメラのキャリブレーション

アプリを使用してカメラのキャリブレーションを行うには、次のワークフローに従います。

イメージ、カメラおよびキャリブレーションパターンを準備します。
イメージを追加して、標準のカメラモデルまたは魚眼カメラモデルを選択します。
カメラのキャリブレーションを行います。
キャリブレーションの精度を評価します。
必要な場合、パラメーターを調整して精度を高めます。
パラメーターオブジェクトをエクスポートします。

既定の値で問題なく機能する場合には、パラメーターをエクスポートする前に調整を加える必要はありません。カメラキャリブレーション関数を MATLAB ワークスペースで直接使用して改善させることもできます。関数の一覧は、カメラのキャリブレーションを参照してください。

カメラキャリブレーターを開く

MATLAB ツールストリップ: [アプリ] タブの [イメージ処理とコンピュータービジョン] セクションで、[カメラキャリブレーター] アイコンをクリックします。
MATLAB コマンドプロンプト: cameraCalibrator と入力します

パターン、カメラおよびイメージの準備

より良い結果を得るには、キャリブレーションパターンの 10 ～ 20 枚のイメージを使用してください。カメラキャリブレーターでは少なくとも 3 枚のイメージが必要です。圧縮なしのイメージか PNG などの可逆圧縮形式を使用してください。キャリブレーションパターンとカメラの設定は、キャリブレーターと連携させるために一連の条件を満たしていなければなりません。キャリブレーションの精度を高めるには、次の手順に従ってパターンの準備、カメラの設定およびイメージの取得を行います。

メモ

カメラキャリブレーターアプリはチェッカーボードパターンのみをサポートします。異なるタイプのキャリブレーションパターンを使用している場合でも、関数 estimateCameraParameters を使うとカメラのキャリブレーションを行うことができます。異なるタイプのパターンを使用する場合は、独自のコードを指定してイメージのパターン点を検出する必要があります。

チェッカーボードパターンの準備

カメラの設定

イメージの取得

より良い結果を得るには、キャリブレーションパターンの少なくとも 10 ～ 20 枚のイメージを使用してください。カメラキャリブレーターでは少なくとも 3 枚のイメージが必要です。圧縮なしのイメージか、PNG などの可逆圧縮形式を使用します。キャリブレーションの精度を高めるには、次のようにします。

カメラから被写体までの距離とほぼ等しい距離からパターンのイメージを取得します。たとえば、2 メートル離れた対象物を測定する場合、パターンをカメラから約 2 メートルの距離に配置します。
チェッカーボードをカメラ平面に対し 45 度未満の角度に配置します。
イメージは変更しないでください (たとえば、イメージをトリミングしないようにします)。
オートフォーカスを使用したり、イメージ間でズーム設定を変更しないでください。
チェッカーボードパターンのイメージを、カメラに対してさまざまな向きに配置して取得します。
イメージフレームのできる限り多くの部分を考慮できるよう、さまざまなパターンイメージを十分な数だけ取得します。レンズ歪みはイメージの中心から徐々に放射状に大きくなり、場合によってはイメージフレーム内で一様でないこともあります。このレンズ歪みを捕らえるには、取得したイメージの端近くにパターンが必要です。

キャリブレーターはチェッカーボードの正方形のさまざまなサイズに対応しています。原則として、取得したイメージの少なくとも 20% がチェッカーボードでカバーされていなければなりません。たとえば、次のモンタージュが示すように、前のイメージは 108 mm のサイズの正方形をもつチェッカーボードを使って取得されています。

イメージの追加とカメラモデルの選択

キャリブレーションを開始するには、イメージを追加しなければなりません。フォルダーから保存済みのイメージを追加したり、カメラから直接イメージを追加することができます。キャリブレーターは、イメージを解析してキャリブレーターの要件を満たしていることを確認します。次に、キャリブレーターは、チェッカーボード上の点を検出します。

ファイルからのイメージの追加

ライブイメージの取得

キャリブレーションを開始するには、イメージを追加しなければなりません。MATLAB の Web カメラサポートを使用して、Web カメラからライブのイメージを取得できます。この機能を使用するには、MATLAB Support Package for USB Webcams をインストールしなければなりません。サポートパッケージのインストールについての詳細は、Install the MATLAB Support Package for USB Webcams (Image Acquisition Toolbox)を参照してください。ライブイメージを追加するには、次の手順に従います。

[キャリブレーション] タブの [ファイル] セクションで、[イメージの追加] をクリックしてから [カメラから] を選択します。
この操作によって [カメラ] タブが開きます。システムに接続されている Web カメラが 1 台のみの場合、そのカメラが既定で選択されてライブプレビューウィンドウが開きます。複数のカメラを接続していて、既定のカメラとは別のカメラを使用したい場合は、[カメラ] リストで特定のカメラを選択します。
カメラのプロパティを設定してイメージを制御できます (オプション)。[カメラプロパティ] をクリックし、選択したカメラのプロパティのメニューを開きます。このリストはデバイスによって異なります。
プロパティ設定を変更するには、スライダーまたはドロップダウンリストを使用します。設定を変更すると、[プレビュー] ウィンドウが動的に更新されます。プロパティの設定が完了したら、メニューボックスの外側の任意の場所をクリックしてプロパティリストを閉じます。
フォルダーのパスを入力するか、[参照] ボタンを使用して、取得したイメージファイルの場所を [位置の保存] ボックスに指定します。これには選択したフォルダーへの書き込み権限が必要です。
取得パラメーターを設定します。
- イメージの取得間隔を秒数で設定するには、[キャプチャ間隔] ボックスまたはスライダーを使用します。既定の頻度は 5 秒で、最小値が 1 秒、最大値は 60 秒です。
- 取得するイメージの数を設定するには、[キャプチャするイメージの数] ボックスまたはスライダーを使用します。既定のイメージ数は 20 で、最小値が 2、最大値は 100 です。
既定の構成では合計 20 枚のイメージが 5 秒おきに取得されます。
[プレビュー] ウィンドウに、RGB データでストリーミングされたライブイメージが表示されます。デバイスのプロパティと取得の設定を調整した後、[プレビュー] ウィンドウをガイドとして用いてカメラの位置を揃え、必要なチェッカーボードパターンのイメージを取得します。
[キャプチャ] ボタンをクリックします。設定した数のイメージが取得されて [データブラウザー] ペインにスナップショットのサムネイルが表示されます。イメージの名前には自動的にインクリメントされた番号が振られ、.png ファイルとして保存されます。
必要に応じて、指定した数のイメージが取得される前にイメージの取得を中止するには、[Stop Capture] をクリックします。
チェッカーボードのイメージを取得する場合、指定した数のイメージが取得された時点で、[チェッカーボードの正方形のサイズ] ダイアログボックスが表示されます。チェッカーボードの四角形のサイズを指定して、[OK] をクリックします。
その後、検出結果が計算されて表示されます。次に例を示します。
[OK] をクリックして、[検出結果] ダイアログボックスが閉じます。
ライブイメージの取得が完了したら、[イメージキャプチャを閉じる] をクリックして [カメラ] タブを閉じます。

イメージの解析

イメージと検出された点の表示

キャリブレーション

取り込まれたイメージに問題がなければ、[キャリブレーション] タブで [キャリブレーション] ボタンをクリックします。既定のキャリブレーション設定では、カメラパラメーターの最小のセットが仮定されます。最初は既定の設定を使用してキャリブレーションを実行してください。その結果を評価し、設定の調整およびイメージの追加または削除を行うことでキャリブレーションの精度を改善してから、再度キャリブレーションを実行します。標準のカメラモデルと魚眼カメラモデルを切り替える場合、再キャリブレーションを実行しなければなりません。

魚眼カメラモデルのキャリブレーションについては、魚眼キャリブレーションの基礎を参照してください。

標準のカメラモデルのキャリブレーションのアルゴリズムは、ピンホールカメラモデルを想定しています。

$w [\begin{matrix} x & y & 1 \end{matrix}] = [\begin{matrix} X & Y & Z & 1 \end{matrix}] [\begin{matrix} R \\ t \end{matrix}] K$

(X,Y,Z): 点のワールド座標。
(x,y): 対応するイメージ点のピクセル単位のイメージ座標。
w: 任意の同次座標のスケール係数。

K: カメラの内部パラメーターの行列。次のように定義されます。

$[\begin{matrix} f_{x} & 0 & 0 \\ s & f_{y} & 0 \\ c_{x} & c_{y} & 1 \end{matrix}]$

座標 (c_x c_y) は光学的な中心 (主点) をピクセル単位で表します。x 軸と y 軸が厳密に直交する場合、せん断パラメーター s は 0 に等しくなります。行列要素は次のように定義されます。

f_x = F*s_x

f_y = F*s_y

F は焦点距離のワールド単位で、通常はミリメートル単位で表されます。

[s_x, s_y] は、それぞれ x と y 方向のワールド単位あたりのピクセル数です。

f_x と f_y はピクセル単位で表されます。

R: カメラの 3 次元回転を表す行列。
t: ワールド座標系に対するカメラの並進。

カメラのキャリブレーションのアルゴリズムは、内部パラメーター、外部パラメーターおよび歪み係数の値を推定します。カメラキャリブレーションには以下の手順が含まれます。

レンズ歪みをゼロと仮定して、内部パラメーターおよび外部パラメーターについて閉形式で解きます。[1]
非線形最小二乗の最小化 (レーベンバーグ・マルカートアルゴリズム) を使用して、歪み係数を含むすべてのパラメーターを同時に推定します。前の手順で求めた閉形式の解を、内部パラメーターと外部パラメーターの初期推定値として使用します。歪み係数の初期推定値をゼロに設定します。[1][2]

キャリブレーション結果の評価

キャリブレーションの精度を評価する方法には、再投影誤差の確認、カメラの外部パラメーターの確認または歪み補正されたイメージの表示があります。最良のキャリブレーション結果を得るには、3 つすべての評価方法を使用してください。

再投影誤差の確認

外部パラメーターの可視化の確認

歪み補正後のイメージの表示

キャリブレーションの改善

キャリブレーションを改善するには、誤差の大きいイメージを削除するか、さらにイメージを追加するか、キャリブレーターの設定を修正します。

イメージの追加と削除

標準のモデル: 半径方向の歪み係数の数の変更

標準のモデル: せん断の計算

標準のモデル: 円周方向の歪みの計算

魚眼モデル: 配置の推定

カメラパラメーターのエクスポート

キャリブレーションで満足できる精度が得られたら、[カメラパラメーターのエクスポート] をクリックします。[カメラパラメーターのエクスポート] を選択するか、カメラパラメーターを MATLAB スクリプトとして生成するために、カメラパラメーターをオブジェクトに保存またはエクスポートできます。

カメラパラメーターのエクスポート

MATLAB スクリプトの生成

参照

[1] Zhang, Z. “A Flexible New Technique for Camera Calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, Number. 11, 2000, pp. 1330–1334.

[2] Heikkila, J. and O. Silven. “A Four-step Camera Calibration Procedure with Implicit Image Correction.” IEEE International Conference on Computer Vision and Pattern Recognition. 1997.

[3] Scaramuzza, D., A. Martinelli, and R. Siegwart. "A Toolbox for Easy Calibrating Omindirectional Cameras." Proceedings to IEEE International Conference on Intelligent Robots and Systems (IROS 2006). Beijing, China, October 7–15, 2006.

[4] Urban, S., J. Leitloff, and S. Hinz. "Improved Wide-Angle, Fisheye and Omnidirectional Camera Calibration." ISPRS Journal of Photogrammetry and Remove Sensing. Vol. 108, 2015, pp.72–79.

参考

詳細

外部の Web サイト

Camera Calibration with MATLAB