opticalFlowLK

Lucas-Kanade 法を使用してオプティカル フローを推定するオブジェクト

説明

Lucas-Kanade 法を使用して移動するオブジェクトの方向と速度を推定するオプティカル フロー オブジェクトを作成します。オブジェクト関数 estimateFlow を使用して、オプティカル フロー ベクトルを推定します。オブジェクト関数 reset を使用すると、オプティカル フロー オブジェクトの内部状態をリセットできます。

作成

構文

opticFlow = opticalFlowLK

opticFlow = opticalFlowLK('NoiseThreshold',threshold)

説明

opticFlow = opticalFlowLK は、ビデオ内の移動するオブジェクトの方向と速度の推定に使用できるオプティカル フロー オブジェクトを返します。オプティカル フローは Lucas-Kanade 法を使用して推定されます。

opticFlow = opticalFlowLK('NoiseThreshold',threshold) は、Name,Value のペアとして指定された 'NoiseThreshold' プロパティをもつオプティカル フロー オブジェクトを返します。プロパティ名を引用符で囲みます。

たとえば、opticalFlowLK('NoiseThreshold',0.05) です。

プロパティ

threshold — ノイズ除去のしきい値

0.0039 (既定値) | 正のスカラー

ノイズ除去のしきい値。正のスカラーとして指定します。この数値を大きくすると、オブジェクトの動きがオプティカル フローの計算に与える影響が小さくなります。

オブジェクト関数

estimateFlow	オプティカル フローの推定
reset	Reset the internal state of the optical flow estimation object

例

Lucas-Kanade アルゴリズムを使用したオプティカル フローの計算

ビデオ ファイルを読み取ります。読み取るフレームのタイムスタンプを指定します。

vidReader = VideoReader('visiontraffic.avi','CurrentTime',11);

Lucas-Kanade 法を使用してオプティカル フローを推定するオプティカル フロー オブジェクトを作成します。ノイズ除去のしきい値を指定します。出力は、オプティカル フロー推定法とそのプロパティを指定するオプティカル フロー オブジェクトです。

opticFlow = opticalFlowLK('NoiseThreshold',0.009);

カスタム Figure ウィンドウを作成して、オプティカル フロー ベクトルを可視化します。

h = figure;
movegui(h);
hViewPanel = uipanel(h,'Position',[0 0 1 1],'Title','Plot of Optical Flow Vectors');
hPlot = axes(hViewPanel);

イメージ フレームを読み取って、グレースケール イメージに変換します。連続するイメージ フレームからオプティカル フローを推定します。現在のイメージ フレームを表示して、オプティカル フロー ベクトルを Quiver プロットとしてプロットします。

while hasFrame(vidReader)
    frameRGB = readFrame(vidReader);
    frameGray = im2gray(frameRGB);
    flow = estimateFlow(opticFlow,frameGray);
    imshow(frameRGB)
    hold on
    plot(flow,'DecimationFactor',[5 5],'ScaleFactor',10,'Parent',hPlot);
    hold off
    pause(10^-3)
end

アルゴリズム

2 つのイメージ間のオプティカル フローを計算するには、次のオプティカル フロー拘束方程式を解かなければなりません。

$$I_{x}u+I_{y}v+I_t=0$$

• $$I_x$$、$$I_y$$ および $$I_t$$ は、時空間イメージの明るさの導関数です。

• u は水平方向のオプティカル フローです。

• v は垂直方向のオプティカル フローです。

Lucas-Kanade 法

u および v のオプティカル フロー拘束方程式を解くために、Lucas-Kanade 法では元のイメージを小さなセクションに分割して、各セクションで等速度を仮定します。次に、各セクション $$\Omega$$ の $${\left[\begin{array}{cc}u& v\end{array}\right]}^T$$ に対して、定数モデルへのオプティカル フロー拘束方程式の重み付き最小二乗近似を実行します。メソッドは次の方程式を最小化することによって、この近似を実行します。

$${\displaystyle \sum _{x\in \Omega }{W}^2{[I_{x}u+I_{y}v+I_t]}^2}$$

W は、各セクションの中心の拘束を強調するウィンドウ関数です。最小化問題に対する解は次のとおりです。

$$\left[\begin{array}{cc}{\displaystyle \sum W^2{I}_x^2}& {\displaystyle \sum W^2{I}_x{I}_y}\\ {\displaystyle \sum W^2{I}_y{I}_x}& {\displaystyle \sum W^2{I}_y^2}\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=-\left[\begin{array}{c}{\displaystyle \sum W^2{I}_x{I}_t}\\ {\displaystyle \sum W^2{I}_y{I}_t}\end{array}\right]$$

Lucas-Kanade 法で、差分フィルター [-1 1] を使用して $$I_t$$ を計算します。

u と v は次のように解かれます。

1. カーネル $$\left[\begin{array}{cccc}-1& 8& 0& \begin{array}{cc}-8& 1\end{array}\end{array}\right]/12$$ とその転置を使用して、$$I_x$$ と $$I_y$$ を計算します。

2. $$\left[\begin{array}{cc}-1& 1\end{array}\right]$$ カーネルを使用して、イメージ 1 と 2 の間の $$I_t$$ を計算します。

3. 分離可能で等方性のある 5 行 5 列の要素カーネルの有効な 1 次元係数 $$\left[\begin{array}{cccc}\begin{array}{cc}1& 4\end{array}& 6& 4& 1\end{array}\right]/16$$ を使用して、勾配コンポーネント $$I_x$$、$$I_y$$ および $$I_t$$ を平滑化します。

4. 次のメソッドを使用して、各ピクセルについて 2 行 2 列の 1 次方程式を解きます。

   • $$A=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]=\left[\begin{array}{cc}{\displaystyle \sum W^2{I}_x^2}& {\displaystyle \sum W^2{I}_x{I}_y}\\ {\displaystyle \sum W^2{I}_y{I}_x}& {\displaystyle \sum W^2{I}_y^2}\end{array}\right]$$ の場合

     A の固有値は $${\lambda }_i=\frac{a+c}{2}\pm \frac{\sqrt{4b^2+{(a-c)}^2}}{2};i=1,2$$ です。

   • 固有値としきい値 $$\tau$$ を比較します。このしきい値は、ノイズ除去のしきい値として入力した値に対応します。結果は次のいずれかになります。

     ケース 1: $${\lambda }_1\ge \tau$$ かつ $${\lambda }_2\ge \tau$$

     A は非特異であるため、クラメルの公式を使用して方程式系が解かれます。

     ケース 2: $${\lambda }_1\ge \tau$$ かつ $${\lambda }_2<\tau$$

     A は特異 (不可逆) であるため、勾配フローを正規化して u と v が計算されます。

     ケース 3: $${\lambda }_1<\tau$$ かつ $${\lambda }_2<\tau$$

     オプティカル フロー u と v は 0 です。

参照

[1] Barron, J. L., D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “ Performance of optical flow techniques.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),236-242. Champaign, IL: CVPR, 1992.

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

バージョン履歴

R2015a で導入

参考

quiver | opticalFlow | opticalFlowHS | opticalFlowFarneback | opticalFlowLKDoG

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい