ハイパースペクトルイメージ処理入門

ハイパースペクトルイメージングでは、さまざまな波長においてオブジェクトをイメージ化することにより、そのオブジェクトの空間特性およびスペクトル特性を測定します。この波長の範囲は可視スペクトルを超え、紫外線 (UV) から長波長赤外線 (LWIR) の波長までを含んでいます。最も良く知られているのは可視、近赤外、および中赤外の波長域です。ハイパースペクトルイメージセンサーは、指定されたスペクトル範囲内で連続した狭い波長をもつ複数のイメージを取得します。それぞれのイメージには、さらに微細で詳細な情報が含まれています。さまざまな地形はそれぞれに独特なスペクトルシグネチャをもっていることから、さまざまな波長内の多様な情報は、植生、水塊、道路の識別など、リモートセンシングの用途において特に有用です。

ハイパースペクトルイメージ処理では、ハイパースペクトルイメージに含まれる情報の表現、解析、および解釈を行います。

Hyperspectral image processing workflow

ハイパースペクトルデータの表現

ハイパースペクトルイメージセンサーの測定値は、バンド順データ並び (BSQ)、画素挟み込みバンド並び (BIP)、またはライン挟み込みバンド並び (BIL) の各エンコード形式を使用することによりバイナリデータファイルに格納されます。このデータファイルは、データファイル内の値を正しく表現するために必要なセンサーパラメーター、撮影設定、空間次元、スペクトル波長、エンコード形式などの補助的情報 (メタデータ) を格納するヘッダーファイルに関連付けられています。

ハイパースペクトルイメージ処理の場合、データファイルから読み取られた値は 3 次元 (3-D) 配列 (M x N x C) に配置されます。ここで、M および N は取得したデータの空間次元、C は取得中に使用されるスペクトル波長の数を指定する空間次元です。したがって、3 次元配列を、さまざまな波長で取得した一連の 2 次元 (2-D) 単色イメージとして考えることができます。このセットは、"ハイパースペクトルデータキューブ" または "データキューブ" と呼ばれます。

関数 hypercube は、データファイルおよび関連するヘッダーファイル内のメタデータ情報を読み取ることでデータキューブを作成します。関数 hypercube は、hypercube オブジェクトを作成し、そのプロパティにデータキューブ、スペクトル波長、およびメタデータを格納します。hypercube オブジェクトは、Image Processing Toolbox™ Hyperspectral Imaging Library の他のすべての関数に対する入力として使用できます。

Hyperspectral data cube and colorization

データキューブのカラー表現

イメージ化されているオブジェクトを可視化および把握するには、配色を使用してデータキューブを 2 次元イメージとして表現することが有効です。データキューブのカラー表現を使用すると、データを視覚的に検査し、より的確に意思決定を行えるようになります。関数 colorize を使用すると、データキューブの赤-緑-青 (RGB)、フォールスカラー、およびカラー赤外 (CIR) 表現を計算できます。

RGB 配色では、赤、緑、および青のスペクトルバンド応答を使用してハイパースペクトルデータキューブの 2 次元イメージを生成します。RGB 配色では自然な外観が得られますが、微細な情報が大幅に失われます。
フォールスカラー配色では、赤、緑、および青の可視スペクトルバンド以外の任意の数のバンドを組み合わせて使用します。フォールスカラー表現を使用すると、可視スペクトル外のバンドのスペクトル応答を可視化できます。フォールスカラー配色は、ハイパースペクトルデータのすべてのスペクトルバンドにわたって特徴的な情報を効率的に取得します。
CIR 配色では NIR 範囲のスペクトルバンドを使用します。ハイパースペクトルデータキューブの CIR 表現は、データキューブの植生範囲を表示および分析する場合に特に有効です。

前処理

ハイパースペクトルイメージングセンサーは、通常、スペクトル分解能が高く、空間分解能が低くなります。取得されたハイパースペクトルデータの空間特性とスペクトル特性は、そのピクセルによって特徴付けられます。各ピクセルは、z 個の異なるバンドにおける場所 (x, y) での強度を示す値のベクトルです。このベクトルは "ピクセルスペクトル" と呼ばれ、(x, y) にあるピクセルのスペクトルシグネチャを定義します。ピクセルスペクトルはハイパースペクトルデータ分析において重要な特徴です。ただし、これらのピクセルスペクトルは、センサーのノイズ、大気効果、分解能の低さなどの要因によって歪められます。

Data Cube and Pixel Spectrum

関数 denoiseNGMeet を使用すると、non-local meets global 法を使用してハイパースペクトルデータからノイズを除去できます。

ハイパースペクトルデータの空間分解能を高めるには、イメージフュージョン法を使用します。フュージョン法では、同じシーンに含まれる低分解能のハイパースペクトルデータと高分解能のマルチスペクトルデータ (またはパンクロマチックイメージ) の情報を組み合わせます。この手法は、ハイパースペクトルイメージ分析では "シャープ化" または "パンシャープン" とも呼ばれます。パンシャープンは、特に、ハイパースペクトルデータとパンクロマチックデータのフュージョンを指します。関数 sharpencnmf を使用すると、coupled non-matrix factorization 法を使用してハイパースペクトルデータをシャープ化できます。

大気効果を補正するには、まず、デジタル値 (DN) であるピクセル値をキャリブレーションしなければなりません。ラジオメトリック補正法および大気補正法を使用して DN をキャリブレーションし、データを前処理しなければなりません。この処理ではピクセルスペクトルの解釈が改善され、分類問題にあるような複数のデータセットを解析する場合に良い結果が得られます。ラジオメトリックキャリブレーションおよび大気補正法の詳細については、Hyperspectral Data Correctionを参照してください。

どのハイパースペクトルイメージングアプリケーションでも重要となる前処理手順として、その他に "次元削減" があります。ハイパースペクトルデータ内の多くの帯域では、データキューブで処理を行うと計算量が増大します。バンドイメージは連続しているため、帯域にまたがる冗長な情報が存在します。ハイパースペクトルイメージの隣接帯域には高い相関性があるため、スペクトルが冗長になります。バンドイメージを無相関化することにより、冗長なバンドを取り除くことができます。データキューブのスペクトル次元を削減するための一般的な手法としては、帯域選択や直交変換などがあります。

"帯域選択" 法では、直交空間投影を利用して、データキューブ内でスペクトルが特徴的で情報量が最も多い帯域を見つけます。関数 selectBands を使用して情報量が最も多い帯域を見つけ、関数 removeBands を使用して 1 つ以上の帯域を削除します。
主成分分析 (PCA) や最大ノイズフラクション (MNF) などの "直交変換" は、帯域情報を無相関化し、主成分バンドを見つけます。
PCA は、データをより低い次元の空間に変換し、入力帯域の最大分散に沿った方向の主成分ベクトルを見つけます。この主成分は前述の全分散の量の降順で並んでいます。
MNF は、分散ではなく S/N 比を最大にする主成分を計算します。MNF 変換はノイズの多いバンドイメージから主成分を抽出する場合に特に有効です。主成分バンドは、スペクトルが特徴的で帯域間相関が低い帯域です。
関数 hyperpca および hypermnf は、PCA 変換と MNF 変換をそれぞれ使用してデータキューブのスペクトル次元を削減します。削減後のデータキューブから抽出されたピクセルスペクトルを使用して、ハイパースペクトルデータを解析できます。

スペクトルアンミキシング

ハイパースペクトルイメージでは、ピクセルごとに記録された強度値が、そのピクセルが属する領域のスペクトル特性を示しています。この領域は、均一表面となる場合も不均一表面となる場合もあります。均一表面に属するピクセルは "ピュアピクセル" と呼ばれます。こうしたピュアピクセルは、ハイパースペクトルデータの "エンドメンバー" を構成します。

不均一表面は 2 つ以上の異なる均一表面を組み合わせたものです。不均一表面に属するピクセルは "ミクセル" と呼ばれます。ミクセルのスペクトルシグネチャは 2 つ以上のエンドメンバーシグネチャを組み合わせたものです。この空間的な異質性は、主にハイパースペクトルセンサーの空間分解能が低いことによるものです。

Spectral unmixing

"スペクトルアンミキシング" とは、ミクセルのスペクトルシグネチャをその構成エンドメンバーに分解する処理のことです。スペクトルアンミキシング処理には次の 2 つの手順が含まれます。

"エンドメンバー抽出" — エンドメンバーのスペクトルは、ハイパースペクトルデータの特徴を顕著に表しており、ハイパースペクトルイメージを効果的にスペクトルアンミキシング、セグメンテーション、および分類するために使用できます。効果的なエンドメンバー抽出手法には、Pixel Purity Index (PPI)、Fast Iterative Pixel Purity Index (FIPPI)、N-finder (N-FINDR) などの凸幾何学ベースの手法があります。
- 関数 ppi を使用すると、PPI 法によりエンドメンバーを推定します。PPI 法では、ピクセルスペクトルを直交空間に投影し、投影先空間内の極値ピクセルをエンドメンバーとして識別します。これは非反復手法であり、その結果は直交投影用に生成されたランダム単位ベクトルによって異なります。結果を改善するには投影用のランダム単位ベクトルの数を増やさなければなりませんが、それにより計算量が増える可能性があります。
- 関数 fippi を使用すると、FIPPI 法によりエンドメンバーを推定します。FIPPI 法は反復手法であり、自動ターゲット生成処理を使用して直交投影用の初期の単位ベクトルセットを推定します。このアルゴリズムは PPI 法より収束が速く、他と比べて特徴的なエンドメンバーを識別します。
- 関数 nfindr を使用すると、N-FINDR 法によりエンドメンバーを推定します。N-FINDR は、ピクセルスペクトルを使用することでシンプレックスを構築する反復手法です。この手法は、エンドメンバーにより構成されるシンプレックスのボリュームが、他のピクセルの組み合わせで定義されるボリュームよりも大きいことを前提とします。シンプレックスのボリュームが大きいピクセルシグネチャのセットがエンドメンバーとなります。
"存在量マップの推定" — エンドメンバーのシグネチャが与えられた場合は、各ピクセルに存在するエンドメンバーごとのフラクション量を推定することが有効です。エンドメンバーごとに存在量マップを生成できますが、これはイメージ内のエンドメンバースペクトルの分布を表しています。そのピクセルについて取得したすべての存在量マップ値を比較することで、エンドメンバースペクトルに属するピクセルにラベルを付けることができます。
関数 estimateAbundanceLS を使用して、エンドメンバースペクトルごとの存在量マップを推定します。

スペクトルマッチング

"スペクトルマッチング" を行って、ピクセルスペクトルを解釈します。スペクトルマッチングでは、エンドメンバー物質のスペクトルを 1 つ以上の基準スペクトルと比較して、エンドメンバー物質の種類を同定します。基準データは、スペクトルライブラリとして使用できる物質のピュアスペクトルシグネチャで構成されます。

関数 readEcostressSig を使用して、ECOSTRESS スペクトルライブラリから基準スペクトルファイルを読み取ります。その後、関数 spectralMatch を使用して、ECOSTRESS ライブラリスペクトル内のファイルとエンドメンバースペクトルの類似性を計算できます。

スペクトルマッチングでは、ピクセルスペクトルの幾何学的特性と確率分布の値が重要な特徴となります。幾何学的特性と確率的特性を組み合わせることで、マッチング効率を高めることができます。そのような組み合わせ手法により、各手法を個別に適用する場合よりも識別能力が高まるため、この手法は似たようなスペクトルをもつターゲット (種内のターゲット) の識別に適しています。以下の表は、スペクトルマッチングスコアの計算に使用できる関数の一覧です。

Method	説明
`sam`	スペクトル角マッパー (SAM) では、幾何学的特性に基づいて 2 つのスペクトルを照合します。SAM 法は、2 つのスペクトルシグネチャ間の角度を計算します。角度が小さいほど 2 つのスペクトルの一致度が高いことを表しています。この手法は照度の変化の影響を受けません。
`sid`	スペクトル情報発散 (SID) 法では、確率分布に基づいて 2 つのスペクトルを照合します。この手法は、ミクセルのスペクトルの同定に適しています。SID の値が小さいほど 2 つのスペクトルの類似度が高いことを表しています。
`sidsam`	SID と SAM の組み合わせ。SID-SAM 法は、SID や SAM を個別に適用する場合よりも識別能力が高くなります。スコアが小さいほど 2 つのスペクトルの類似度が高いことを表しています。
`jmsam`	ジェフリー・松下 (JM) 距離と SAM の組み合わせ。距離の値が小さいほど 2 つのスペクトルの類似度が高いことを表しています。この手法は、よく似たスペクトルをもつターゲットの識別に特に適しています。
`ns3`	ユークリッド距離と SAM を組み合わせた正規化スペクトル類似度スコア (NS3)。距離の値が小さいほど 2 つのスペクトルの類似度が高いことを表しています。この手法は識別能力が高いものの、高い精度の結果を得るには幅広い基準データが必要となります。

用途

ハイパースペクトルイメージ処理は、分類、ターゲット検出、異常検出、物質解析などに利用されます。

アンミキシングとスペクトルマッチングにより、ハイパースペクトルイメージ内の各ピクセルをセグメント化して分類します。例については、最大存在量分類を使用したハイパースペクトルイメージ解析とライブラリシグネチャと SAM を使用したハイパースペクトルイメージの分類を参照してください。
ターゲット物質の既知のスペクトルシグネチャと、ハイパースペクトルデータのピクセルスペクトルを照合することで、ターゲット検出を実行できます。例については、スペクトルシグネチャマッチングを使用したターゲットの検出を参照してください。
また、ハイパースペクトルイメージ処理は、異常検出や物質解析 (植生解析など) にも利用できます。
- ハイパースペクトルイメージ内の異常を検出するには、関数 anomalyRX を使用します。
- ハイパースペクトルデータに含まれるさまざまな物質のスペクトル特性を解析するには、関数 spectralIndices を使用します。