rectifyStereoImages

ステレオ イメージのペアの平行化

構文

[J1,J2,reprojectionMatrix] = rectifyStereoImages(I1,I2,stereoParams)

[___,camMatrix1,camMatrix2,R1,R2] = rectifyStereoImages(I1,I2,stereoParams)

[J1,J2] = rectifyStereoImages(I1,I2,tform1,tform2)

[J1,J2] = rectifyStereoImages(___,interp)

[J1,J2] = rectifyStereoImages(___,Name=Value)

説明

[J1,J2,reprojectionMatrix] = rectifyStereoImages(I1,I2,stereoParams) は、stereoParams オブジェクトに格納されたステレオ カメラ システムのステレオ パラメーターを使用して、I1 入力イメージと I2 入力イメージのバージョンの歪み補正と平行化を行います。reprojectionMatrix で関数 reconstructScene を使用して、視差マップの 2 次元の点をカメラ 1 の平行化されたカメラ座標系における 3 次元の点に再投影します。

ステレオ イメージの平行化では、各イメージの対応する点が同じ行座標をもつような方法で、イメージが共通のイメージ平面に投影されます。このようにイメージの投影を行うと、2 つのカメラが平行であるかのように表示されます。関数 disparityBM または関数 disparitySGM を使用して、3 次元シーン再構成のために平行化されたイメージから視差マップを計算します。

[___,camMatrix1,camMatrix2,R1,R2] = rectifyStereoImages(I1,I2,stereoParams) は、平行化されたカメラの 3 行 4 列のカメラ投影行列 camMatrix1 と camMatrix2、および対応する平行化回転行列 R1 と R2 を返します。

[J1,J2] = rectifyStereoImages(I1,I2,tform1,tform2) は、射影変換 tform1 と tform2 を適用して、平行化された I1 入力イメージと I2 入力イメージを返します。

[J1,J2] = rectifyStereoImages(___,interp) はさらに、平行化されたイメージに使用する内挿法を指定します。この方法には "nearest"、"linear"、または "cubic" を指定できます。

[J1,J2] = rectifyStereoImages(___,Name=Value) は、前の構文にある引数の任意の組み合わせに加えて、名前と値の引数を 1 つ以上使用してオプションを指定します。たとえば、OutputView="valid" は OutputView 引数を "valid" に設定します。

例

ステレオ イメージの平行化

キャリブレーションを行うチェッカーボードを含むイメージを指定します。

imageDir = fullfile(toolboxdir('vision'),'visiondata', ...
    'calibration','stereo');
leftImages = imageDatastore(fullfile(imageDir,'left'));
rightImages = imageDatastore(fullfile(imageDir,'right'));

チェッカーボードを検出します。

[imagePoints,boardSize] = detectCheckerboardPoints(...
    leftImages.Files,rightImages.Files);

チェッカーボード キーポイントのワールド座標を指定します。

squareSizeInMillimeters = 108;
worldPoints = patternWorldPoints('checkerboard',boardSize,squareSizeInMillimeters);

イメージを読み取ります。

I1 = readimage(leftImages,1);
I2 = readimage(rightImages,1);
imageSize = [size(I1,1),size(I1,2)];

ステレオ カメラ システムをキャリブレーションします。

stereoParams = estimateCameraParameters(imagePoints,worldPoints,ImageSize=imageSize);

'full' 出力表示を使用してイメージを平行化します。

[J1_full,J2_full] = rectifyStereoImages(I1,I2,stereoParams,OutputView='full');

'full' 出力表示の結果を表示します。

figure; 
imshow(stereoAnaglyph(J1_full,J2_full));

'valid' 出力表示を使用してイメージを平行化します。これは視差計算に最適です。

[J1_valid,J2_valid] = rectifyStereoImages(I1,I2,stereoParams,OutputView='valid');

'valid' 出力表示の結果を表示します。

figure; 
imshow(stereoAnaglyph(J1_valid,J2_valid));

入力引数

I1 — 入力イメージ 1

M×N×3 のトゥルーカラー イメージ | M 行 N 列の 2 次元グレースケール イメージ

カメラ 1 に対応する入力イメージ。M x N x 3 のトゥルーカラー イメージ、または M 行 N 列の 2 次元グレースケール配列として指定します。また、入力イメージ I1 と I2 は、実数、有限、非スパースでなければなりません。入力イメージは同じクラスでなければなりません。

データ型: uint8 | uint16 | int16 | single | double | logical

I2 — 入力イメージ 2

M×N×3 のトゥルーカラー イメージ | M 行 N 列の 2 次元トゥルーカラー イメージ

カメラ 2 に対応する入力イメージ。M x N x 3 のトゥルーカラー イメージ、または M 行 N 列の 2 次元グレースケール配列として指定します。入力イメージ I1 と I2 は、実数、有限、非スパースでなければなりません。また、入力イメージは同じクラスでなければなりません。

データ型: uint8 | uint16 | int16 | single | double | logical

stereoParams — ステレオ カメラ システムのパラメーター

stereoParameters オブジェクト

ステレオ カメラ システムのパラメーター。stereoParameters オブジェクトとして指定します。

データ型: uint8 | uint16 | int16 | single | double

tform1 — 射影変換

projtform2d オブジェクト

イメージ 1 の射影変換。projtform2d オブジェクトとして指定します。関数 estimateStereoRectification を使用して projtform2d オブジェクトを取得できます。

データ型: single | double

tform2 — 射影変換

projtform2d オブジェクト

イメージ 2 の射影変換。projtform2d オブジェクトとして指定します。関数 estimateStereoRectification を使用して projtform2d オブジェクトを取得できます。

データ型: single | double

interp — 内挿法

"linear" (既定値) | "nearest" | "cubic"

内挿法。"linear"、"nearest"、"cubic" のいずれかとして指定します。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

例: OutputView="valid" は OutputView 引数を "valid" に設定します。

OutputView — 平行化されたイメージのサイズ

"valid" (既定値) | "full"

平行化されたイメージのサイズ。"full" または "valid" として指定します。このパラメーターを "full" に設定すると、平行化されたイメージに元のイメージのすべてのピクセルが含まれます。この値を "valid" に設定すると、出力イメージは、有効なピクセルを含む最も大きな共通の四角形のサイズにトリミングされます。

平行化されたイメージ間にオーバーラップがない場合は、OutputView を "full" に設定します。

FillValues — 出力ピクセルの塗りつぶしの値

数値スカラー | 3 要素の数値ベクトル

出力ピクセルの塗りつぶしの値。数値スカラーまたは 3 要素の数値ベクトルとして指定します。入力イメージにおける対応する逆変換後の位置が完全に入力イメージの境界外である場合には、出力ピクセルの塗りつぶしの値を使用します。I1 と I2 が 2 次元グレースケール イメージの場合、FillValues を数値スカラーに設定しなければなりません。I1 と I2 がトゥルーカラー イメージの場合には、FillValues をスカラーまたは RGB 値の 3 要素ベクトルに設定できます。

出力引数

J1 — 歪み補正と平行化が行われたイメージ 1

M×N×3 のトゥルーカラー イメージ | M 行 N 列の 2 次元グレースケール イメージ

歪み補正と平行化が行われた I1。M x N x 3 のトゥルーカラー イメージまたは M 行 N 列の 2 次元グレースケール イメージとして返されます。

ステレオ イメージの平行化では、各イメージの対応する点が同じ行座標をもつような方法で、イメージが共通のイメージ平面に投影されます。このようにイメージの投影を行うと、2 つのカメラが平行であるかのように表示されます。関数 disparityBM または関数 disparitySGM を使用して、3 次元シーン再構成のために平行化されたイメージから視差マップを計算します。

J2 — 歪み補正と平行化が行われたイメージ 2

M×N×3 のトゥルーカラー イメージ | M 行 N 列の 2 次元グレースケール イメージ

歪み補正と平行化が行われた I2。M x N x 3 のトゥルーカラー イメージまたは M 行 N 列の 2 次元グレースケール イメージとして返されます。

ステレオ イメージの平行化では、各イメージの対応する点が同じ行座標をもつような方法で、イメージが共通のイメージ平面に投影されます。このようにイメージの投影を行うと、2 つのカメラが平行であるかのように表示されます。関数 disparityBM または関数 disparitySGM を使用して、3 次元シーン再構成のために平行化されたイメージから視差マップを計算します。

reprojectionMatrix — 再射影行列

4 行 4 列の行列

再射影行列。次の形式の 4 行 4 列の行列として返されます。

$${\left[\begin{array}{cccc}1& 0& 0& -cx\\ 0& 1& 0& -cy\\ 0& 0& 0& f\\ 0& 0& 1/b& 0\end{array}\right]}_{,}$$

ここで、f と [cx,cy] はそれぞれ、平行化されたカメラ 1 の焦点距離と主点です。b は、平行化された仮想ステレオ カメラのベースラインです。

reprojectionMatrix で関数 reconstructScene を使用して、視差マップの 2 次元の点をカメラ 1 の平行化されたカメラ座標系における 3 次元の点に再投影します。

camMatrix1 — 平行化されたカメラ 1 の射影行列

3 行 4 列の行列

平行化されたカメラ 1 の射影行列。3 行 4 列の行列として返されます。camMatrix1 と camMatrix2 を使用して、カメラ 1 の座標系の 3 次元ワールド ポイントを J1 と J2 のイメージ平面にそれぞれ投影します。

camMatrix1 を使用して、平行化されたカメラ 1 の座標系の 3 次元ワールド ポイントを J1 のイメージ平面に投影します。

データ型: single | double

camMatrix2 — 平行化されたカメラ 2 の射影行列

3 行 4 列の行列

平行化されたカメラ 2 の射影行列。3 行 4 列の行列として返されます。camMatrix1 と camMatrix2 を使用して、カメラ 1 の座標系の 3 次元ワールド ポイントを J1 と J2 のイメージ平面にそれぞれ投影します。

camMatrix2 を使用して、平行化されたカメラ 2 の座標系の 3 次元ワールド ポイントを J2 のイメージ平面に投影します。

データ型: single | double

R1 — カメラ 1 の回転行列

3 行 3 列の行列

カメラ 1 の平行化された投影に関連するカメラ 1 の回転行列。3 行 3 列の行列として返されます。R1 回転行列は、平行化されていないカメラ 1 の座標系にある 3 次元の点を、平行化されたカメラ 1 の座標系の点に関連付けます。

データ型: single | double

R2 — カメラ 2 の回転行列

3 行 3 列の行列

カメラ 1 の平行化された投影に関連するカメラ 2 の回転行列。3 行 3 列の行列として返されます。R2 回転行列は、平行化されていないカメラ 2 の座標系にある 3 次元の点を、平行化されたカメラ 2 の座標系の点に関連付けます。

データ型: single | double

ヒント

• Computer Vision Toolbox™ の修正アルゴリズムでは、各イメージのエピ極がイメージの外側にある必要があります。エピ極がイメージ内にある場合は、Marc Pollefeys、Reinhard Koch、Luc Van Gool [2] により提唱された修正方法に示されているように、最初にイメージを極座標に変換できます。

参照

[1] G. Bradski and A. Kaehler, Learning OpenCV : Computer Vision with the OpenCV Library. Sebastopol, CA: O'Reilly, 2008.

拡張機能

C/C++ コード生成

MATLAB® Coder™ を使用して C および C++ コードを生成します。

使用上の注意および制限:

• 'interp' および 'OutputView' はコンパイル時の定数でなければなりません。

• コードを生成するには、関数 toStruct を使用し、stereoParameters を関数 rectifyStereoImages に渡します。

バージョン履歴

R2014a で導入

R2022b: 左から乗算する幾何学的変換規則をサポート

R2022b 以降、Computer Vision Toolbox のほとんどの関数は、左から乗算する規則を使用して幾何学的変換を作成および実行します。このため、引数 tform1 と tform2 を、左から乗算する規則を使用する projtform2d オブジェクトとして指定できるようになりました。

tform1 と tform2 を projective2d オブジェクトまたは関数 estimateUncalibratedRectification によって返される 3 行 3 列の行列として指定することはできますが、これらの値は右から乗算する規則を使用するため、推奨されません。projtform2d オブジェクトに切り替えることで、幾何学的変換ワークフローを効率化できます。詳細については、Migrate Geometric Transformations to Premultiply Conventionを参照してください。

参考

アプリ

• カメラ キャリブレーター | ステレオ カメラ キャリブレーター

関数

• reconstructScene | disparityBM | disparitySGM | estimateCameraParameters | estimateStereoRectification

オブジェクト

• stereoParameters

トピック

• 2 つのビューからの structure from motion
• 複数のビューからの structure from motion
• ステレオ Visual Simultaneous Localization and Mapping
• キャリブレーションされていないステレオイメージの平行化
• ステレオ ビデオからの深度推定のためのコード生成
• 座標系