線形システム同定の基礎: 最小二乗推定と正則化の原理

観測した信号は、どのようなシステムから生成されたのか。それを知ることは、信号処理の様々な応用で重要になる。本書は観測データから動的システム（差分方程式に従うシステム）を推定するシステム同定について、その理論的基礎と発展的な内容をまとめたものである。

本書の特徴

本書はモデルのパラメータ推定方法として、最小二乗法と正則化最小二乗法の二つに特化した解説を行っている。したがって各種の推定方法を網羅しているわけではないが、その分丁寧な説明を行い、統計に関する基礎的な概念を理解できるよう留意した。特に、システム同定に関する和書で、正則化最小二乗法についてここまでの解説を行うものはこれまでにない。システム同定のためのスパース正則化・カーネル正則化に興味を持たれた方は是非一読していただきたい。なお、付録としてMATLABのソースコードも掲載しているため、その有効性を直ちに検証できる点も本書の特徴の一つである。

本書の構成

1章「システム同定とは」では、システム同定という学問が扱う内容と歴史を概観する。

2章「線形システム」では、本書で扱う線形システムの導入を行う。特に、時間進み演算子を用いた表現を導入する。

3章「線形システムのモデル」では、ノイズまで含めた線形システムのモデル構造についてまとめる。また、確率過程の基礎についても触れる。

4章「予測誤差法によるパラメータ推定」では、3章で導入した種々のモデルのパラメータを調整する方法として、予測誤差法、特に最小二乗法を導入する。また、最尤法や不偏推定などを含む統計学の概念をいくつか導入し、最小二乗法との関連について説明する。

5章「モデル選択」では、3章で導入したモデルのどれを利用するべきかについて、データから選択する規準をいくつか紹介する。

6章「逐次同定・適応フィルタリング」では、データが逐次的に与えられるという状況でパラメータを適応的に調整する手法を紹介する。

7章「正則化最小二乗法とベイズ推定」では、最小二乗法に代わるパラメータ調整法として正則化最小二乗法を導入する。特に、一般的な形式と、古典的な例としてのridge正則化について説明する。また、最尤法に対応するものとしてベイズ推定を導入する。

8章「システム同定のためのカーネル正則化」では、有限インパルス応答モデルの推定において使われるカーネル正則化を説明する。ただし紙面の都合上再生核ヒルベルト空間に関する話は省き、正則化最小二乗法の観点からの導入を行う。

9章「スパース正則化」では、同じく有限インパルス応答を対象とし、スパース正則化とそこで利用される最適化手法についての説明を行う。

付録では、本書で使用する線形代数に関する補足（逆行列補題や正定値行列の性質など）と、MATLAB実装を記す。