estimateFundamentalMatrix

ステレオ イメージ内の対応する点から基礎行列を推定

構文

estimateFundamentalMatrix

F = estimateFundamentalMatrix(matchedPoints1,matchedPoints2)

[F,inliersIndex] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2)

[F,inliersIndex,status] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2)

[F,inliersIndex,status] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2,Name=Value)

説明

estimateFundamentalMatrix は、ステレオ イメージ内の対応する点から基礎行列を推定します。この関数は、対応するすべての点を使用するか、または外れ値を排除するように構成できます。Random-sample consensus (RANSAC) などのロバストな推定手法を使用して、外れ値を排除できます。ロバストな推定を使用すると、アルゴリズムのランダム性のために、すべての実行で結果が同一にならない場合があります。

F = estimateFundamentalMatrix(matchedPoints1,matchedPoints2) は、ステレオ イメージ内のマッチした特徴点から、最小二乗中央値 (LMedS) 法を使用して、3 行 3 列の基礎行列 F を返します。

[F,inliersIndex] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2) はさらに、基礎行列の計算に使用されるインライアに対して、論理インデックス inliersIndex を返します。inliersIndex 出力は、M 行 1 列のベクトルです。対応する点が基礎行列の計算に使用されている場合、関数がベクトルの要素を true に設定します。使用されていない場合、要素は false に設定されます。

[F,inliersIndex,status] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2) はさらに、ステータス コードを返します。

[F,inliersIndex,status] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2,Name=Value) は、前の構文にある引数の任意の組み合わせに加えて、名前と値の引数を 1 つ以上使用してオプションを指定します。たとえば、estimateFundamentalMatrix(matchedPoints1,matchedPoints2,Method="MSAC") は、基礎行列を計算する手法として MSAC を指定します。

例

基礎行列の計算

Random Sample Consensus (RANSAC) 法を使用して、基礎行列を計算します。RANSAC 法では、入力点が推定的にマッチされる必要があります。これらのマッチされた点を返すには、matchFeatures 関数を使用します。推定的にマッチされた点の中にまだ含まれている可能性のある外れ値点は、RANSAC アルゴリズムを使用してさらに除去されます。

ステレオ点をワークスペースに読み込みます。

load stereoPointPairs

基礎行列を推定します。

fRANSAC = estimateFundamentalMatrix(matchedPoints1, ...
    matchedPoints2,Method="RANSAC", ...
    NumTrials=2000,DistanceThreshold=1e-4)

fRANSAC = 3×3

    0.0000   -0.0004    0.0348
    0.0004    0.0000   -0.0937
   -0.0426    0.0993    0.9892

最小二乗中央値法を使用したインライアの検出

推定的にマッチされた点をワークスペースに読み込みます。

load stereoPointPairs
[fLMedS,inliers] = estimateFundamentalMatrix(matchedPoints1,matchedPoints2,NumTrials=2000)

fLMedS = 3×3

    0.0000   -0.0004    0.0349
    0.0004    0.0000   -0.0938
   -0.0426    0.0994    0.9892

inliers = 18×1 logical array

   1
   1
   1
   1
   1
   1
   0
   1
   0
   0
   0
   1
   0
   0
   0
      ⋮

ステレオ イメージを読み込みます。

I1 = imread("viprectification_deskLeft.png");
I2 = imread("viprectification_deskRight.png");

推定的にマッチされた点を表示します。

figure;
showMatchedFeatures(I1,I2,matchedPoints1,matchedPoints2,"montage",PlotOptions=["ro","go","y--"]);
title("Putative Point Matches");

インライア点を表示します。

figure;
showMatchedFeatures(I1,I2,matchedPoints1(inliers,:),matchedPoints2(inliers,:),"montage",PlotOptions=["ro","go","y--"]);
title("Point Matches After Outliers Are Removed");

正規化 8 点アルゴリズムを使用した基礎行列の計算

ステレオ点のペアをワークスペースに読み込みます。

load stereoPointPairs

外れ値が含まれない入力点の基礎行列を計算します。

inlierPts1 = matchedPoints1(knownInliers,:);
inlierPts2 = matchedPoints2(knownInliers,:);
fNorm8Point = estimateFundamentalMatrix(inlierPts1,inlierPts2,Method="Norm8Point")

fNorm8Point = 3×3

    0.0000   -0.0004    0.0348
    0.0004    0.0000   -0.0937
   -0.0426    0.0993    0.9892

入力引数

matchedPoints1 — 対応する点の座標

M 行 2 列の行列 | 特徴点オブジェクト

イメージ 1 の対応する点の座標。M 個の [x y] 座標からなる M 行 2 列の行列、または特徴点のタイプで説明されている特徴点オブジェクトの 1 つとして指定します。matchedPoints1 入力には、単一の平面上 (壁、テーブル、本など) に存在せず、matchFeatures などの関数を使用して推定的にマッチされる点が含まれていなければなりません。

matchedPoints2 — 対応する点の座標

M 行 2 列の行列 | 特徴点オブジェクト

イメージ 1 の対応する点の座標。M 個の [x y] 座標からなる M 行 2 列の行列、または特徴点のタイプで説明されている特徴点オブジェクトの 1 つとして指定します。matchedPoints1 入力には、単一の平面上 (壁、テーブル、本など) に存在せず、matchFeatures などの関数を使用して推定的にマッチされる点が含まれていなければなりません。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、コンマを使用して名前と値をそれぞれ区切り、Name を引用符で囲みます。

例: estimateFundamentalMatrix(matchedPoints1,matchedPoints2,Method="MSAC") は、基礎行列を計算する手法として MSAC を指定します。

Method — 基礎行列の計算に使用する手法

LMedS (既定値) | MSAC | Norm8Point

基礎行列の計算に使用する手法。次のいずれかとして指定します。

"LMedS"	最小二乗中央値。この手法は、matchedPoints1 と matchedPoints2 の点の少なくとも 50% がインライアである場合に使用します。この関数は、インライアの 50% が検出されると、インライアの検索と基礎行列の推定を停止します。
"MSAC"	M-estimator SAmple Consensus。インライアに距離のしきい値を設定する場合には、M-estimator SAmple Consensus 法を選択します。通常、MSAC 法は RANSAC 法より迅速に収束します。
"Norm8Point"	正規化 8 点アルゴリズム[1]。信頼性の高い結果を生成するには、入力 matchedPoints1 と matchedPoints2 が正確にマッチしなければなりません。

Norm8Point アルゴリズムを使用して信頼性の高い結果を生成するには、matchedPoints1 と matchedPoints2 の入力が正確にマッチしなければなりません。他の手法では外れ値を許容できるため、推定的にマッチされた入力点のみが必要です。関数 matchFeatures を使用して推定的にマッチされた点を取得できます。

OutputClass — 基礎行列クラス

"double" (既定値) | "single"

基礎行列クラス。"double" または "single" として指定します。このプロパティを使用して、基礎行列のクラスと関数の内部計算のクラスを指定します。

NumTrials — 外れ値を検出するためのランダム試行の回数

500 (既定値) | 整数

外れ値を検出するためのランダム試行の回数。整数として指定します。この引数は、Method を LMedS または MSAC に設定した場合に適用されます。

• LMedS — 関数は試行の実際の回数をパラメーター値として使用する。

• MSAC — 関数は試行の最大回数をパラメーター値として使用する。

試行の実際の回数は、matchedPoints1、matchedPoints2 および Confidence パラメーターの値によって異なります。速度と精度が最適になるようにランダム試行の回数を選択します。

DistanceThreshold — 外れ値を検出するための距離しきい値

0.01 (既定値)

外れ値を検出するための距離しきい値。正のスカラーとして指定します。このパラメーターは、Method を MSAC に設定した場合に適用されます。

Confidence — 最大数のインライアの検出に関する目的の信頼度

99 (既定値) | スカラー

最大数のインライアの検出に関する目的の信頼度。範囲 (0 100) のパーセント比スカラーとして指定します。この引数は、Method を MSAC に設定した場合に適用されます。

ReportRuntimeError — ランタイム エラーのレポート

true (既定値) | false

ランタイム エラーのレポート。logical 値として指定します。このパラメーターを true に設定すると、関数が matchedPoints1 と matchedPoints2 から基礎行列を計算できない場合にランタイム エラーをレポートします。このパラメーターを false に設定すると、status 出力をチェックして基礎行列の妥当性を検証できます。

出力引数

F — 基礎行列

3 行 3 列の行列

基礎行列。入力 matchedPoints1 および matchedPoints2 の点から計算される 3 行 3 列の行列として返されます。

$$\left[\begin{array}{cc}{P}_2& 1\end{array}\right]*FundamentalMatrix*{\left[\begin{array}{cc}{P}_1& 1\end{array}\right]}^{\text{'}}=0$$

ピクセル単位のイメージ 1 の matchedPoints1 の点である P₁ は、イメージ 2 の matchedPoints2 の点である P₂ に対応します。

コンピューター ビジョンでは、基礎行列は、ステレオ イメージ内の対応する点を関連付ける 3 行 3 列の行列になります。2 台のカメラで 2 つの異なる位置から 3 次元シーンを見る場合、3 次元の点とその 2 次元イメージへの投影との間にはいくつかの幾何学的関係があり、イメージ ポイント間の制約となります。同じシーンの 2 つのイメージは、エピポーラ幾何によって関連付けられます。

inliersIndex — インライアのインデックス

M 行 1 列の logical ベクトル

インライアのインデックス。M 行 1 列の論理インデックス ベクトルとして返されます。要素が true に設定されている場合、matchedPoints1 と matchedPoints2 の対応するインデックス付きのマッチ点を使用して基礎行列が計算されていることを意味します。要素が false に設定されている場合、インデックス付きの点が計算に使用されていないことを意味します。

データ型: logical

status — ステータス コード

0 | 1 | 2

ステータス コード。次のいずれかの値として返されます。

ステータス	値
0:	エラーなし。
1:	matchedPoints1 と matchedPoints2 に十分な数の点が含まれていません。Norm8Point メソッドおよび MSAC メソッドには少なくとも 8 個の点、LMedS メソッドには 16 個の点が必要です。
2:	十分な数のインライアが見つかりませんでした。

データ型: int32

ヒント

カメラの内部パラメーターがわかっている場合には、estimateEssentialMatrix を使用します。内部パラメーターは、カメラ キャリブレーター アプリを使用して取得できます。そうでない場合、カメラの内部パラメーターを必要としない関数 estimateFundamentalMatrix を使用できます。基礎行列は共面ワールド ポイントから推定できないことに注意してください。

アルゴリズム

基礎行列の計算

Norm8Point 法を選択すると、関数は matchedPoints1 と matchedPoints2 のすべての点を使用して基礎行列を計算します。他の手法を選択すると、関数は次のアルゴリズムを使用して外れ値を排除し、インライアから基礎行列を計算します。

1. 基礎行列 F を 3 行 3 列の零点の行列に初期化します。

2. ループ カウンター n をゼロに設定し、ループ回数 N を指定されたランダム試行の回数に設定します。

3. n < N である間、次の手順を繰り返します。

   1. matchedPoints1 と matchedPoints2 から点のペアを 8 個ランダムに選択します。

   2. 選択した 8 個の点を使用し、正規化 8 点アルゴリズムを使用して基礎行列 f を計算します。

   3. matchedPoints1 と matchedPoints2 のすべての点について、f の適合度を計算します。

   4. f の適合度が F より良い場合、F を f に置き換えます。

      MSAC 法の場合、N を更新します。

   5. n = n + 1

MSAC 法の無作為抽出の回数

MSAC 法では、アルゴリズム ループの反復のたびにランダム試行の回数 N が更新されます。関数は、次に従って N をリセットします。

N = min( N, $$\frac{\log (1-p)}{\log (1-r^8)}$$)。

ここで、p は指定した信頼パラメーターを表し、r は以下に示すように計算されます。 $${\displaystyle \sum _i^N\mathrm{sgn}(d{u}_{i,}{v}_i),t)/N}$$。ここで、$$a\le b$$ の場合は $$\mathrm{sgn}(a,b)=1$$、その他の場合は $$0$$ です。

MSAC 法を使用すると、アルゴリズムのランダム性のために、一部の実行で異なる結果になる可能性があります。

Sampson 距離

関数は、Sampson 距離を使用して、基礎行列に従って点のペアの距離を測定します。以下の方程式を使用して Sampson 距離を計算できます。この方程式において、u は matchedPoints1 を、v は matchedPoints2 を表します。

$$d(u_i,v_i)={(v_{i}F{u}_i^T)}^2\left[\frac{1}{{(F{u}_i^T)}_1^2+{(F{u}_i^T)}_2^2}+\frac{1}{{(v_{i}F)}_1^2+{(v_{i}F)}_2^2}\right]$$

ここで、$$i$$ は対応する点のインデックスを表し、$${\left(F{u}_i^T\right)}_j^2$$ はベクトル $$F{u}_i^T$$ における j 番目のエントリの二乗を表します。

対応する点に対する基礎行列の適合度

次の表に、計算された基礎行列の適合度を各手法において判定する方法をまとめています。

メソッド	適合度の測定
LMedS	$$median(d\left(u_{i,}{v}_i);i=1:N\right)$$ 入力点の数。値が小さいほど、適合度が高くなります。
MSAC	$${\displaystyle \sum _i^N\min (d(u_i,v_i),t)}$$.値が小さいほど、適合度が高くなります。

参照

[1] Hartley, R., A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2003.

[2] Rousseeuw, P., A. Leroy, Robust Regression and Outlier Detection, John Wiley & Sons, 1987.

[3] Torr, P. H. S., and A. Zisserman, MLESAC: A New Robust Estimator with Application to Estimating Image Geometry, Computer Vision and Image Understanding, 2000.

拡張機能

C/C++ コード生成

MATLAB® Coder™ を使用して C および C++ コードを生成します。

使用上の注意および制限:

• 'Method'、'OutputClass'、'DistanceType' および 'ReportRuntimeError' はコンパイル時の定数でなければなりません。

バージョン履歴

R2012b で導入

参考

関数

• epipolarLine | extractFeatures | matchFeatures | estimateUncalibratedRectification | relativeCameraPose

トピック

• 2 つのビューからの structure from motion
• 複数のビューからの structure from motion
• キャリブレーションされていないステレオイメージの平行化
• 特徴点のタイプ
• structure from motion とは
• 座標系