インクリメンタル学習の概要

インクリメンタル学習とは

"インクリメンタル学習" ("オンライン学習") は、予測子変数の分布や標本サイズ、予測関数や目的関数の要素 (調整パラメーターの適切な値を含む)、観測値のラベル付けなどがほとんど未知、またはまったく未知の可能性のある、連続的かつリアルタイムなデータストリームからの入力データの処理に着目した、機械学習の一分野です。インクリメンタル学習には、ほかに次のタイプがあります。

モデルに学習させて入力データストリームの異常を検出する (Incremental Anomaly Detection Overviewを参照)。
入力ストリームのデータの主成分係数を計算する (incrementalPCA を参照)。

インクリメンタル学習アルゴリズムは、柔軟かつ効率的で適応的です。インクリメンタル学習には、従来の機械学習とは異なる次のような特徴があります。

インクリメンタルモデルのデータへの当てはめは迅速かつ効率的に行われるため、データ分布の変化 ("ドリフト") にリアルタイムで適合させることができます。
対応する予測子データが利用可能になっても観測ラベルが欠損している可能性があるため、アルゴリズムはモデルの最新バージョンから迅速に予測を生成し、モデルの学習を延長できなければなりません。
インクリメンタル学習の開始前は母集団に関する既知の情報が少ない可能性があります。そのため、アルゴリズムは "コールドスタート" で実行できます。たとえば、分類問題では、モデルが観測値を処理するまでクラス名がわからない場合があります。学習の開始前に十分な情報がわかっている場合 (たとえば、線形モデル係数の適切な推定値がある場合) は、そのような情報を指定してモデルを "ウォームスタート" できます。
観測値がストリーム内に到達する可能性があること、標本のサイズが未知である確率が高く、場合によっては大きいことから、データの保存は非効率的または不可能です。したがって、アルゴリズムは、観測値が利用できるようになったなら、システムがそれらを破棄する前に処理しなければなりません。インクリメンタル学習にはこのような特徴があるため、ハイパーパラメーターの調整は困難または不可能です。

従来の機械学習では、汎化誤差の推定およびハイパーパラメーターの調整のための交差検証の実行、予測子変数の分布の推測、およびモデルの当てはめを行うために、ラベル付けされたデータのバッチを使用できます。しかし、基になる分布がドリフトしたり、モデルが劣化したりした場合は、結果のモデルを最初から再学習させなければなりません。インクリメンタル学習環境ではハイパーパラメーターを調整するための交差検証を実行することは困難ですが、モデルがより多くのデータを学習するにつれて予測精度が従来の学習モデルに近づき、リアルタイムで分布ドリフトに適応できるため、インクリメンタル学習手法は柔軟です。

予測を生成し、その予測性能を測定するために、インクリメンタルモデルが準備されているとします。観測値の入力チャンクに対し、インクリメンタル学習スキームは、次のいずれかの方法 (通常は指定された順序) でリアルタイムにデータを処理します。

モデルの評価: モデルの予測性能を、真のラベルが利用可能になったときに追跡するか、または入力データのみで追跡します。あるいは、観測値のスライディングウィンドウ全体、またはインクリメンタル学習に使用されるモデルの履歴全体で追跡します。
ドリフトの検出: 構造の破綻や分布のドリフトについてチェックします。たとえば、ある予測子変数の分布が十分に変位しているかどうかを判定します。
モデルの学習: 真のラベルが利用可能になったとき、または現在のモデルが十分に劣化したときに、入力観測値でモデルに学習させてモデルを更新します。
予測の生成: 最新のモデルからラベルを予測します。

この手順は、すべての入力チャンクをテスト (ホールドアウト) セットとして扱うインクリメンタル学習特有のケースです。この手順は "インターリーブテスト後学習" または "逐次予測評価" と呼ばれます[1]。

インクリメンタルモデルに対し、予測を生成するための情報が十分でない場合、または学習が十分でないためにモデルの予測性能を追跡したくない場合は、ハイパーパラメーターの適切な値 ("推定期間"、モデルでサポートされている場合) やモデル評価前の初期学習期間 ("メトリクスのウォームアップ期間") を求めるための初期ステップを含めることもできます。

インクリメンタル学習の問題の例として、周囲温度、相対湿度、時刻、およびその他の測定値をもとに温度を自動的に設定したり、部屋の温度設定を学習したりできるスマートサーモスタットを考えます。製造会社が、測定値をもとに平均的な人の好みを記述した既知のモデルを事前にデバイスに組み込んだとします。インストール後、デバイスは毎分データを収集し、プリセットされた温度に調整します。サーモスタットは、ユーザーのデバイス操作 (無操作も含む) に基づいて、組み込みモデルを調整または再学習します。このサイクルは無限に続く可能性があります。サーモスタットの履歴データを保存するためのディスク容量が限られている場合、リアルタイムで再学習する必要があります。製造会社によって既知のモデルが事前にデバイスに組み込まれていない場合、デバイスはより頻繁に再学習します。

MATLAB でのインクリメンタル学習

Statistics and Machine Learning Toolbox™ の機能を使用すれば、分類用または回帰用のインクリメンタル学習を実装できます。Statistics and Machine Learning Toolbox の他の機械学習機能と同様に、インクリメンタル学習のエントリポイントはインクリメンタル学習オブジェクトであり、これをデータと共に関数に渡すことでインクリメンタル学習を実装します。他の機械学習の関数とは異なり、インクリメンタル学習オブジェクトはデータなしでも作成できます。ただし、インクリメンタル学習オブジェクトは、モデルのパラメーター形式や問題固有のオプションに加え、モデルの当てはめ、パフォーマンスメトリクスの測定、その両方のアクションを実行するタイミングなど、入力データの処理方法も指定します。

インクリメンタル学習モデルのオブジェクト

次の表に、インクリメンタル学習に使用できるエントリポイントのモデルオブジェクトについて、それぞれでサポートされる機械学習の目的、モデルタイプ、およびモデルオブジェクトの作成に必要な情報を示します。

モデルオブジェクト	目的	モデルタイプ	必要な情報
`incrementalClassificationECOC`	マルチクラス分類	バイナリ学習器を含む誤り訂正出力符号 (ECOC) モデル	インクリメンタル学習中にデータで予測される最大クラス数、または予測されるすべてのクラスの名前
`incrementalClassificationKernel`	バイナリ分類	バイナリガウスカーネル分類器	なし
`incrementalClassificationLinear`	バイナリ分類	線形 SVM 回帰およびロジスティック回帰	なし
`incrementalClassificationNaiveBayes`	マルチクラス分類	正規、多項、または多変量多項予測子条件付き分布による単純ベイズ	インクリメンタル学習中にデータで予測される最大クラス数、または予測されるすべてのクラスの名前
`incrementalRegressionKernel`	回帰	ガウスカーネルによる SVM 回帰と最小二乗回帰	なし
`incrementalRegressionLinear`	回帰	線形 SVM 回帰と線形最小二乗回帰	なし

インクリメンタル学習モデルオブジェクトのプロパティでは、次を指定します。

予測子変数の数 (NumPredictors)、およびその 1 次モーメントと 2 次モーメントなどのデータ特性
線形モデルの学習器のタイプ (Learner)、線形係数 (Beta)、および切片 (Bias) などのモデル特性
線形モデルの目的ソルバー (Solver) などの学習オプション、および標準確率的勾配降下と平均化確率的勾配降下 (SGD と ASGD) のリッジペナルティ (Lambda) などのソルバー固有のハイパーパラメーター
モデルがウォームであるかどうか (IsWarm)、追跡するパフォーマンスメトリクス (Metrics)、パフォーマンスメトリクスの最新の値などの、モデルの性能評価特性およびオプション

他の機械学習モデルのオブジェクトとは異なり、オブジェクトを直接呼び出し、名前と値の引数を使用してオプションのプロパティ値を指定することにより、インクリメンタル学習モデルを作成できます。モデルを作成するためにデータに当てはめる必要はありません。この機能は、学習する前にデータまたはモデルに関する情報がほとんどない場合に便利です。指定に応じて、ソフトウェアは推定期間およびメトリクスのウォームアップ期間を適用できます。その間、インクリメンタル近似関数はデータ特性を推定し、性能評価用にモデルに学習させます。線形モデルの場合、既定の設定では、ソフトウェアは適応型スケール不変ソルバーを使用して目的関数を解決します。これは調整を必要とせず、予測子変数のスケールの影響を受けません[2]。

または、関数 incrementalLearner を使用して、従来式の学習済みモデルをインクリメンタル学習用モデルに変換できます。たとえば、incrementalLearner は、ClassificationLinear タイプの学習済み線形分類モデルを incrementalClassificationLinear オブジェクトに変換します。次の表は、変換可能なモデルとその変換関数の一覧です。

変換可能な従来式の学習済みモデルオブジェクト	変換関数	インクリメンタル学習用のモデルオブジェクト
`ClassificationECOC` および `CompactClassificationECOC`	`incrementalLearner`	`incrementalClassificationECOC`
`ClassificationKernel`	`incrementalLearner`	`incrementalClassificationKernel`
`ClassificationSVM` および `CompactClassificationSVM`	`incrementalLearner`	`incrementalClassificationLinear`
`ClassificationLinear`	`incrementalLearner`	`incrementalClassificationLinear`
`ClassificationNaiveBayes`	`incrementalLearner`	`incrementalClassificationNaiveBayes`
`RegressionKernel`	`incrementalLearner`	`incrementalRegressionKernel`
`RegressionSVM` および `CompactRegressionSVM`	`incrementalLearner`	`incrementalRegressionLinear`
`RegressionLinear`	`incrementalLearner`	`incrementalRegressionLinear`

既定の設定では、ソフトウェアは、インクリメンタル学習のすべての要素について変換モデルが準備されていると見なします (変換モデルはウォーム)。incrementalLearner は、インクリメンタル学習に使用可能なデータ特性 (クラス名など)、当てはめたパラメーター、およびオプションを変換元の従来式の学習済みモデルから引き継ぎます。以下に例を示します。

単純ベイズについて、incrementalLearner は、インクリメンタル学習中にデータで予測されるすべてのクラス名、および条件付き予測子分布の当てはめたモーメント (DistributionParameters) を引き継ぎます。
線形モデルについて、従来式の学習済みモデルの目的ソルバーが SGD である場合、incrementalLearner はインクリメンタル学習ソルバーを SGD に設定します。

詳細については、各関数 incrementalLearner のページの出力引数に関する説明を参照してください。

インクリメンタル学習の関数

インクリメンタル学習モデルオブジェクトでは、学習およびモデル評価の準備から実際の学習およびモデル評価に至る、インクリメンタル学習アルゴリズムのすべての要素を指定します。インクリメンタル学習を実装するには、構成済みのインクリメンタル学習モデルをインクリメンタル近似関数またはモデル評価関数に渡します。サポートされているインクリメンタル学習関数のリストは、各インクリメンタル学習モデルオブジェクトのページの「オブジェクト関数」の節で確認できます。

Statistics and Machine Learning Toolbox のインクリメンタル学習関数には、逐次予測学習に適した 2 つのワークフローが用意されています。単純にするために、以下のワークフローの説明は、モデルがモデルの性能評価用に準備されていることを前提としています (つまり、モデルがウォームであるとします)。

柔軟なワークフロー — データチャンクが利用可能になったときに以下を行います。
1. データと現在のモデルを関数 updateMetrics に渡して、モデルの累積パフォーマンスメトリクスおよびウィンドウパフォーマンスメトリクスを計算します。モデルはまだ学習されていないため、データはテスト (ホールドアウト) データとして扱われます。updateMetrics は、モデルに保存されているモデルの性能を新しい値で上書きします。
2. オプションで、分布のドリフト、またはモデルの劣化を検出します。
3. 入力データチャンクと現在のモデルを関数 fit に渡して、モデルに学習させます。関数 fit は指定されたソルバーを使用してモデルを入力データチャンクに当てはめ、現在の係数とバイアスを新しい推定値で上書きします。
柔軟なワークフローでは、モデルの学習を行うかどうかを決定する前に、カスタムモデルを使用してデータ品質の評価を実行できます。すべての手順は任意ですが、両方の関数を呼び出す場合は、fit の前に updateMetrics を呼び出します。
簡潔なワークフロー — データチャンクが利用可能になったときに、入力チャンクと構成済みのインクリメンタルモデルを関数 updateMetricsAndFit に渡します。updateMetricsAndFit は、updateMetrics を呼び出した直後に fit を呼び出します。簡潔なワークフローを使用すると、逐次予測評価を行うインクリメンタル学習を簡単に実装して、モデルの性能を追跡し、すべての入力データチャンクでモデルの学習を行えます。

インクリメンタルモデルオブジェクトを作成し、使用するワークフローを選択したら、インクリメンタル学習を実装するループを記述します。

チャンクが利用可能になったときに、データストリームから観測値のチャンクを読み取ります。
柔軟なワークフローまたは簡潔なワークフローを実装します。インクリメンタル学習を適切に実行するには、入力モデルを出力モデルで上書きします。以下に例を示します。
- 柔軟なワークフロー
  Mdl = updateMetrics(Mdl,X,Y); % % Insert optional code % Mdl = fit(Mdl,X,Y);
- 簡潔なワークフロー
  Mdl = updateMetricsAndFit(Mdl,X,Y);
モデルは、学習の開始以降に測定されたメトリクスを使用し (累積)、連続する観測の指定の時間枠全体にわたって (ウィンドウ)、入力データでの性能を漸増的に追跡します。オプションとして、入力チャンクのモデル損失を計算し、入力チャンクと現在のモデルを関数 loss に渡すことも可能です。loss はモデルを調整せずに、スカラー損失を返します。
モデルの構成により、インクリメンタル学習関数が各反復中に学習またはモデルの性能評価のいずれを行うかが決まります。関数がデータを処理するにつれて、構成は変わる可能性があります。詳細は、インクリメンタル学習の期間を参照してください。
次のようなオプションがあります。
- チャンクと最新のモデルを predict に渡して予測を生成。
- モデルがデータに当てはめられた場合、チャンクと最新のモデルを loss に渡して再代入損失を計算。
- 単純ベイズ分類モデルについて、関数 logp を使用して外れ値をリアルタイムで検出。この関数は、チャンクの各観測値における予測子変数の対数条件なし確率密度を返します。

インクリメンタル学習の期間

与えられたデータの入力チャンクに対してインクリメンタル学習関数が実行するアクションは、モデルの現在の構成または状態に依存します。この図は、インクリメンタル学習関数が特定のアクションを実行する期間 (観測値の連続グループ) を示しています。

Number line showing the periods during which incremental learning functions perform certain actions

以下の表は、インクリメンタル学習関数が各期間中に実行するアクションを示しています。

期間関連モデルプロパティサイズ (観測値の数) アクション

推定

期間	関連モデルプロパティ	サイズ (観測値の数)	アクション
推定	`EstimationPeriod` (線形分類モデル、カーネル分類モデル、線形回帰モデル、およびカーネル回帰モデルにのみ適用)	n₁	必要に応じて、近似関数は推定期間の観測値に基づいてハイパーパラメーターの値を選択します。アクションには次が含まれます。データ標準化用の予測子のモーメント `Mu` および `Sigma` を推定 (線形モデルとカーネルモデルにのみ適用)。 SGD ソルバー用の学習率 `LearnRate` を学習率スケジュール `LearnRateSchedule` に従って調整。 SVM 回帰パラメーター ε (`Epsilon`) を推定。推定に必要な情報バッファーを保存。期間満了時に対応するプロパティを更新。詳細については、各オブジェクトおよび関数 `incrementalLearner` のページの「アルゴリズム」のセクションを参照してください。
メトリクスのウォームアップ	`MetricsWarmupPeriod`	n₂ – n₁	プロパティ `IsWarm` が `false` のとき、近似関数は次のアクションを実行します。データの入力チャンクへのモデルの当てはめ。モデルを当てはめた後、`Beta` や `DistributionParameters` などの対応するモデルプロパティを更新。期間満了時のモデルはウォーム (`IsWarm` プロパティが `true` となる)。
性能評価	`Metrics` および `MetricsWindowSize`	m	モデルの性能計算に必要な情報バッファーを保存する関数。各性能評価期間の満了時: 関数は最初の性能評価期間の開始以降に処理されたすべての観測値に基づいて累積メトリクスを計算して上書きします。 `m` が `MetricsWindowSize` 以下の場合、関数は最新の `m` 個の観測値とそれまでの期間に計算された格納値 (観測値ごとに 1 つ) に基づいてウィンドウメトリクスを計算して格納します。それまでの格納値の数に最新の `m` 個の観測値の数を加えた数が `MetricsWindowSize` 以上であれば、関数はウィンドウメトリクスを更新します。 `m` が `MetricsWindowSize` より大きい場合、前回のウィンドウメトリクスの更新以降に `MetricsWindowSize` 個の観測値が処理されていれば、関数はウィンドウメトリクスを計算して上書きします。ウィンドウメトリクスは最新の `MetricsWindowSize` 個の観測値に基づきます。

EstimationPeriod (線形分類モデル、カーネル分類モデル、線形回帰モデル、およびカーネル回帰モデルにのみ適用)

n₁

必要に応じて、近似関数は推定期間の観測値に基づいてハイパーパラメーターの値を選択します。アクションには次が含まれます。

データ標準化用の予測子のモーメント Mu および Sigma を推定 (線形モデルとカーネルモデルにのみ適用)。
SGD ソルバー用の学習率 LearnRate を学習率スケジュール LearnRateSchedule に従って調整。
SVM 回帰パラメーター ε (Epsilon) を推定。
推定に必要な情報バッファーを保存。
期間満了時に対応するプロパティを更新。

詳細については、各オブジェクトおよび関数 incrementalLearner のページの「アルゴリズム」のセクションを参照してください。

メトリクスのウォームアップ

MetricsWarmupPeriod

n₂ – n₁

プロパティ IsWarm が false のとき、近似関数は次のアクションを実行します。

データの入力チャンクへのモデルの当てはめ。
モデルを当てはめた後、Beta や DistributionParameters などの対応するモデルプロパティを更新。
期間満了時のモデルはウォーム (IsWarm プロパティが true となる)。

性能評価

Metrics および MetricsWindowSize

モデルの性能計算に必要な情報バッファーを保存する関数。

各性能評価期間の満了時:

関数は最初の性能評価期間の開始以降に処理されたすべての観測値に基づいて累積メトリクスを計算して上書きします。
m が MetricsWindowSize 以下の場合、関数は最新の m 個の観測値とそれまでの期間に計算された格納値 (観測値ごとに 1 つ) に基づいてウィンドウメトリクスを計算して格納します。それまでの格納値の数に最新の m 個の観測値の数を加えた数が MetricsWindowSize 以上であれば、関数はウィンドウメトリクスを更新します。
m が MetricsWindowSize より大きい場合、前回のウィンドウメトリクスの更新以降に MetricsWindowSize 個の観測値が処理されていれば、関数はウィンドウメトリクスを計算して上書きします。ウィンドウメトリクスは最新の MetricsWindowSize 個の観測値に基づきます。

参照

[1] Bifet, Albert, Ricard Gavaldá, Geoffrey Holmes, and Bernhard Pfahringer. Machine Learning for Data Streams with Practical Example in MOA. Cambridge, MA: The MIT Press, 2007.

[2] Kempka, Michał, Wojciech Kotłowski, and Manfred K. Warmuth. "Adaptive Scale-Invariant Online Algorithms for Learning Linear Models." Preprint, submitted February 10, 2019. https://arxiv.org/abs/1902.07528.

参考

オブジェクト

incrementalClassificationLinear | incrementalRegressionLinear | incrementalClassificationNaiveBayes