イメージ画質メトリクス

イメージの取得と処理の過程で発生する歪みにより画質は悪くなります。ノイズ、ブレ、リンギング、そして圧縮の影響などが歪みの例です。

画質の客観的な測定方法を生み出すためにさまざまな努力が為されてきました。多くのアプリケーションにおいて、有益な画質メトリクスは人間の観測による主観的な画質の認識と良い相関を持ちます。画質メトリクスは、イメージ処理パイプラインで伝播する知覚できないエラーを追跡することもでき、イメージ処理アルゴリズムの比較に使用できます。

歪みのないイメージが利用可能な場合、他のイメージの画質を測定する参照として使用できます。たとえば、圧縮イメージの画質を評価するとき、非圧縮バージョンのイメージはよい参照となります。これらの場合、完全参照画質メトリクスを使用してターゲットイメージと参照イメージを直接比較できます。

歪みのない参照イメージが利用不可能な場合、非参照画質メトリクスを代わりに使用できます。これらのメトリクスは、期待されるイメージ統計量に基づく画質スコアを計算します。

完全参照画質メトリクス

完全参照アルゴリズムでは入力イメージと、歪みのない初期の参照イメージを比較します。

Metric	説明
`immse`	平均二乗誤差 (MSE)。MSE は実際のピクセル値と理想のピクセル値の間の平均二乗誤差を測定します。このメトリクスは、計算は簡単ですが、人間が感じる画質とはずれが生じる場合があります。
`psnr`	ピーク S/N 比 (pSNR)。pSNR は平均二乗誤差から導出され、歪みのパワーに対する最大ピクセル強度の比を表します。MSE と同様、pSNR メトリクスは計算は簡単ですが、感性品質とずれが生じる場合があります。
`ssim`	構造的類似性 (SSIM) 指数。SSIM メトリクスはイメージの局所的な構造、輝度、およびコントラストを組み合わせて単一の局所画質スコアにします。このメトリクスで "構造" とは、輝度とコントラストを正規化後のピクセル強度、特に近傍のピクセル強度のパターンです。人間の視覚系は構造の感知に優れているため、SSIM 画質メトリクスは主観的な画質スコアとより一致します。
`multissim` `multissim3`	マルチスケール構造的類似性 (MS-SSIM) 指数。MS-SSIM メトリクスは、最も高い解像度レベルにおける輝度情報と、ダウンサンプリングされた複数の解像度 (スケール) における構造情報およびコントラスト情報を組み合わせることで、SSIM 指数を拡張します。マルチスケールは、イメージからの表示距離、シーンからセンサーまでの距離、イメージ取得センサーの解像度などの要素により発生するイメージ詳細の認識のばらつきの主な原因となります。

構造の類似性は局所的に計算されるため、ssim、multissim および multissim3 はイメージ全体の画質マップを生成できます。

非参照画質メトリクス

非参照アルゴリズムでは入力イメージの統計的な特徴量を使用して、画質を評価します。

Metric	説明
`brisque`	Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE)。BRISQUE モデルは既知の歪みを持つイメージデータベースで学習しており、BRISQUE は同じタイプの歪みを持つ画質の評価に制限されます。BRISQUE は opinion-aware です。これは、主観的な画質スコアが学習イメージに付属することを意味します。
`niqe`	Natural Image Quality Evaluator (NIQE)。NIQE モデルは初期状態のイメージのデータベースで学習されていますが、NIQE は任意の歪みを持つイメージの画質を測定できます。NIQE は opinion-unaware であり、主観的な画質スコアを使用しません。イメージの NIQE スコアは BRISQUE スコアのようには人間の感知する画質と相関しないというトレードオフがあります。
`piqe`	Perception based Image Quality Evaluator (PIQE)。PIQE アルゴリズムは opinion-unaware で "教師なし" の手法であるため、学習済みのモデルを必要としません。PIQE は、任意の歪みを持つイメージの画質を測定することができ、ほとんど場合、NIQE と同じように実行されます。PIQE はブロック単位の歪みを推定し、知覚される歪みのあるブロックの局所分散を測定して、画質スコアを計算します。

BRISQUE および NIQE アルゴリズムはモデルを学習させた後、計算効率よくイメージの画質スコアを計算します。PIQE では計算効率が低下しますが、グローバル画質スコアに加えて、画質の局所測定が可能です。どの非参照画質メトリクスも通常、完全参照メトリクスよりも主観的な人間の画質スコアとの一致という点で性能が優れています。