インクリメンタル学習モデルの構成

R2026b

インクリメンタル学習モデルのオブジェクトでは、関数がインクリメンタル近似およびモデルの性能評価を実装する方法を完全に指定します。インクリメンタル学習モデルの構成 (または準備) を行うには、オブジェクトを直接呼び出すか、従来式の学習済みモデルをいずれかのオブジェクトに変換することによってモデルを作成します。次の表は、使用可能なモデルタイプ、インクリメンタル学習用のモデルオブジェクト、および変換関数の一覧です。

目的	モデルタイプ	インクリメンタル学習用のモデルオブジェクト	変換関数
バイナリ分類	ガウスカーネルによる線形サポートベクターマシン (SVM) 回帰およびロジスティック回帰	`incrementalClassificationKernel`	`incrementalLearner` でカーネル分類モデル (`ClassificationKernel`) を変換します。
バイナリ分類	線形 SVM 回帰およびロジスティック回帰	`incrementalClassificationLinear`	`incrementalLearner` で線形 SVM モデル (`ClassificationSVM` または `CompactClassificationSVM`) を変換します。 `incrementalLearner` で線形分類モデル (`ClassificationLinear`) を変換します。
マルチクラス分類	バイナリ学習器を含む誤り訂正出力符号 (ECOC) モデル	`incrementalClassificationECOC`	`incrementalLearner` でバイナリ学習器を含む ECOC モデル (`ClassificationECOC` または `CompactClassificationECOC`) を変換します。
	正規、多項、または多変量多項予測子条件付き分布による単純ベイズ	`incrementalClassificationNaiveBayes`	`incrementalLearner` で完全な単純ベイズ分類モデル (`ClassificationNaiveBayes`) を変換します。
	ニューラルネットワーク	`incrementalClassificationNeuralNetwork`	`incrementalLearner` でニューラルネットワーク分類モデル (`ClassificationNeuralNetwork`) を変換します。
回帰	ガウスカーネルによる最小二乗回帰および線形 SVM 回帰	`incrementalRegressionKernel`	`incrementalLearner` でカーネル回帰モデル (`RegressionKernel`) を変換します。
	最小二乗回帰および線形 SVM 回帰	`incrementalRegressionLinear`	`incrementalLearner` で線形 SVM 回帰モデル (`RegressionSVM` または `CompactRegressionSVM`) を変換します。 `incrementalLearner` で線形回帰モデル (`RegressionLinear`) を変換します。
	ニューラルネットワーク	`incrementalRegressionnNeuralNetwork`	`incrementalLearner` でニューラルネットワーク回帰モデル (`RegressionNeuralNetwork`) を変換します。

インクリメンタルモデルを作成するためにどの方法を選択するかは、所有している情報や求めるものによって異なります。

オブジェクト呼び出し: オブジェクトを直接呼び出して、指定に合わせてインクリメンタルモデルを作成します。この方法には柔軟性があります。目的に合わせてほとんどのオプションを指定でき、結果のモデルは適切な既定値を提供します。詳細については、オブジェクトの直接呼び出しを参照してください。
モデル変換: 関数 incrementalLearner を使用して、従来式の学習済みモデルをインクリメンタル学習器に変換し、インクリメンタル学習用にモデルを初期化します。この関数は、データから学習させた従来式の学習済みモデルの情報を渡します。従来式の学習済みモデルを変換するには、モデルを当てはめることができるラベル付きデータのセットがなければなりません。
incrementalLearner を使用するときに指定できるのは、すべての性能評価オプションと、変換時には未知である、それらの学習、モデル、およびデータのオプションのみです。詳細は、従来式の学習済みモデルの変換を参照してください。

次の構成については、使用する方法に関わりなく検討してください。

モデルの性能評価設定 (測定するパフォーマンスメトリクスなど)。詳細については、個々のオブジェクトのリファレンスページを参照してください。
ECOC モデルの場合:
- バイナリ学習器
- バイナリ学習器の符号化設計行列。
カーネルモデルの場合:
- モデルタイプ (SVM など)
- 目的関数ソルバー。標準確率的勾配降下 (SGD) など
- ランダムな特徴量拡張のハイパーパラメーター (カーネルスケールパラメーターや拡張空間の次元数など)
線形モデルの場合:
- モデルタイプ (SVM など)
- 係数の初期値
- 目的関数ソルバー。標準確率的勾配降下 (SGD) など
- ソルバーのハイパーパラメーター値 (SGD ソルバーの学習率など)
ニューラルネットワークモデルの場合:
- ニューラルネットワーク層のパラメーター (重み、バイアス、活性化など)。
- 目的関数ソルバー (FreeREX など)。
- ソルバーのハイパーパラメーター値 (ミニバッチ LBFGS ソルバーの初期学習率など)。
単純ベイズモデルの場合、予測子変数の条件付き分布。データセットには、実数予測子を正規分布とすること、およびカテゴリカル予測子 (ここでレベルは数値スカラー) を多変量多項とすることの指定が可能です。各予測子がカウントである bag-of-tokens モデルの場合、すべての予測子が結合されて多項となることの指定が可能です。

オブジェクトの直接呼び出し

他の機械学習モデルオブジェクトを操作する場合とは異なり、インクリメンタル学習モデルは、データについての知識がほとんどなくても、対応するオブジェクトを直接呼び出すことで作成できます。たとえば、次のコードは線形回帰用の既定のインクリメンタルモデルと、5 個のクラスを含むデータストリームの単純ベイズ分類モデルを作成します。

MdlLR = incrementalRegressionLinear();
MdlNB = incrementalClassificationNaiveBayes(MaxNumClasses=5)

線形モデルとカーネルモデルの場合、モデルを直接作成するために必要な唯一の情報は、機械学習の問題が分類または回帰のどちらであるかということです。仕様によっては評価期間も必要になることがあります。
単純ベイズ分類モデルと ECOC 分類モデルの場合は、インクリメンタル学習中にデータで予測される最大クラス数またはすべてのクラス名を指定しなければなりません。
回帰ニューラルネットワークモデルの場合、必要な情報はありません。
分類ニューラルネットワークモデルの場合、次のいずれかを指定する必要があります。
- インクリメンタル学習中にデータで予測される最大クラス数
- 予測されるすべてのクラスの名前
- ニューラルネットワーク層の重み、バイアス、活性化

指定するデータについての情報がある場合、またはモデルオプションか性能評価の設定を構成する場合は、オブジェクトを呼び出すときに名前と値の引数を使用します (すべてのモデルプロパティは読み取り専用です。ドット表記を使用して調整することはできません)。たとえば、次の疑似コードは、バイナリ分類用のインクリメンタルロジスティック回帰モデルを作成し、線形モデル係数 Beta およびバイアス Bias (問題の事前知識から取得) を初期化し、パフォーマンスメトリクスのウォームアップ期間を 500 個の観測値に設定します。

Mdl = incrementalClassificationLinear(Learner="logistic", ...
    Beta=beta,Bias=bias,MetricsWarmupPeriod=500);

すべてのオプションの詳細については、各インクリメンタルモデルオブジェクトのページのプロパティの節を参照してください。

性能評価のオプションとプロパティ

性能評価のプロパティとオプションを使用して、モデルの性能をインクリメンタル学習関数 updateMetrics または updateMetricsAndFit で測定する方法とタイミングを構成できます。どのオプションを選択するとしても、インクリメンタル学習の期間についてまず理解するようにしてください。

次の表は、性能評価のすべてのオプションとプロパティを示しています。

性能評価のオプションとプロパティ	説明
`Metrics`	名前と値の引数 `Metrics` を使用して、インクリメンタルに測定するパフォーマンスメトリクスまたは損失関数のリストを指定します。追跡された累積メトリクスとウィンドウメトリクスの table が `Metrics` プロパティに格納されます。
`MetricsWarmupPeiod`	インクリメンタルモデルがパフォーマンスメトリクスを追跡する前に当てはめなければならない観測値の数
`MetricsWindowSize`	ウィンドウパフォーマンスメトリクスの計算に使用する観測値の数
`IsWarm`***	モデルがウォームである (パフォーマンスメトリクスを測定している) かどうかを示すフラグ

***IsWarm プロパティは指定できません。その他のプロパティは、オブジェクトを呼び出すときに名前と値の引数の構文を使用して設定できます。

名前と値の引数 Metrics で指定されたメトリクスで、モデルの Metrics プロパティに格納される table が形成されます。たとえば、インクリメンタルモデル Mdl を作成するときに Metrics=["Metric1","Metric2"] を指定した場合、Metrics プロパティは次のようになります。

>> Mdl.Metrics

ans =

  2×2 table
                Cumulative    Window
                __________    ______

    Metric1        NaN         NaN
    Metric2        NaN         NaN

モデルの品質が低下し、モデルを学習させてから関数 updateMetrics または updateMetricsAndFit が Metrics プロパティのパフォーマンスメトリクスを追跡する必要がある場合は、メトリクスのウォームアップ期間を指定します。この場合、IsWarm プロパティは false となり、インクリメンタル近似関数 fit または updateMetricsAndFit に入力データとモデルを渡さなければなりません。

インクリメンタル近似関数が十分なデータを処理して、推定期間 (線形モデルとカーネルモデルの場合)、ソルバーの調整期間 (ミニバッチ LBFGS ソルバーを使用するニューラルネットワークモデルの場合)、メトリクスのウォームアップ期間が完了すると、IsWarm プロパティが true になり、入力データでモデルの性能を測定したり、オプションでモデルに学習させたりできるようになります。単純ベイズ分類モデル、ニューラルネットワーク分類モデル、ECOC 分類モデルの場合、インクリメンタル近似関数ではさらに、モデルを予測されるすべてのクラスに当てはめてウォームにしなければなりません。

モデルがウォームである場合、updateMetrics または updateMetricsAndFit は、指定されたすべてのメトリクスを、(評価の開始時から) 累積的に、MetricsWindowSize プロパティで指定された観測値のウィンドウで追跡します。累積メトリクスには、インクリメンタル学習の履歴全体にわたるモデルの性能が反映されます。性能評価期間 1 の開始後、累積メトリクスは評価期間に依存しません。ウィンドウメトリクスには、指定したウィンドウサイズにおける、各性能評価期間のモデルの性能が反映されます。

従来式の学習済みモデルの変換

incrementalLearner では、従来式の学習済みモデルから学習した情報を使用して、インクリメンタルモデルを初期化できます。変換モデルは予測を生成でき、ウォームです。これは、インクリメンタル学習関数がデータストリームの最初からモデルのパフォーマンスメトリクスを測定できることを意味します。つまり、インクリメンタル学習のために、推定期間およびパフォーマンスメトリクスのウォームアップ期間は必要ありません。

従来式の学習済みモデルをインクリメンタル学習器に変換するには、incrementalLearner に、モデル、および名前と値の引数で指定したオプションを渡します。たとえば、次の疑似コードは、バイナリ分類用の線形 SVM モデルがデータのバッチから学習したすべての情報を使用してインクリメンタル分類モデルを初期化します。

Mdl = fitcsvm(X,Y);
IncrementalMdl = incrementalLearner(Mdl,Name=Value);

IncrementalMdl は、異常検出用のインクリメンタル 1 クラス SVM モデルオブジェクトです。

インクリメンタルモデルの作成と初期化の容易さは、柔軟性とトレードオフの関係にあります。ソフトウェアは、従来の学習で学習された近似パラメーター、ハイパーパラメーター値、およびデータ特性がインクリメンタル学習にも適切であることを前提としています。そのため、incrementalLearner を呼び出すときに、対応する学習済みのオプションまたは調整済みのオプションを設定することはできません。

サポートされる各分類モデルと回帰モデルの incrementalLearner 関数は、一部のプロパティを Mdl から転送するか他の値から推論します。詳細については、各関数 incrementalLearner のページの出力引数に関する説明を参照してください。

線形分類モデルまたは線形回帰モデル (それぞれ ClassificationLinear または RegressionLinear) の変換時には、次の条件が適用されます。

インクリメンタル近似関数はリッジ (L2) 正則化のみをサポートします。
インクリメンタル近似関数では、正則化値を 1 つのみ指定できます。そのため、fitclinear または fitrlinear を呼び出すときに正則化パス (正則化値のベクトル) を指定する場合、それを selectModels に渡して、1 つのペナルティに関連付けられているモデルを選択するようにします。
標準 SGD または平均化 SGD (名前と値の引数 Solver で "sgd" または "asgd") を使用して目的関数を解決する場合、incrementalLearner を呼び出すときに次の条件が適用されます。
- incrementalLearner は、Mdl の最適化に使用されるソルバーを IncrementalMdl に転送します。
- 適応型スケール不変ソルバー "scale-invariant" を代わりに指定できますが、別の SGD ソルバーを指定することはできません。
- 適応型スケール不変ソルバーを指定しない場合、incrementalLearner は、学習率 LearnRate、ミニバッチサイズ BatchSize、およびリッジペナルティ Lambda などのモデルとソルバーのハイパーパラメーター値をインクリメンタルモデルオブジェクトに転送します。転送されたプロパティは変更できません。

モデルに学習させた後のオブジェクトの呼び出し

インクリメンタルモデルを作成するにあたってさらに柔軟性が必要な場合は、オブジェクトを直接呼び出し、名前と値の引数を使用して学習済みの情報を個別に設定してモデルを初期化します。以下の疑似コードは次の 2 つの例を示しています。

バイナリ分類の線形 SVM モデルをデータのバッチ Xc および Yc に当てはめて学習させた係数とクラス名から、インクリメンタル分類モデルを初期化します。
```
Mdl = fitcsvm(Xc,Yc);
IncrementalMdl = incrementalClassificationLinear( ...
    Beta=Mdl.Beta,Bias=Mdl.Bias,ClassNames=Mdl.ClassNames);
```

線形モデルをデータのバッチ Xr および Yr に当てはめて学習させた係数から、インクリメンタル回帰モデルを初期化します。

Mdl = fitlm(Xr,Yr);
bias = Mdl.Coefficients.Estimate(1);
beta = Mdl.Coefficients.Estimate(2:end);
IncrementalMdl = incrementalRegressionLinear( ...
    Learner="leastsquares",Bias=bias,Beta=beta);

参照

[1] Bifet, Albert, Ricard Gavaldá, Geoffrey Holmes, and Bernhard Pfahringer. Machine Learning for Data Streams with Practical Example in MOA. Cambridge, MA: The MIT Press, 2007.

[2] Kempka, Michał, Wojciech Kotłowski, and Manfred K. Warmuth. "Adaptive Scale-Invariant Online Algorithms for Learning Linear Models." Preprint, submitted February 10, 2019. https://arxiv.org/abs/1902.07528.

参考

オブジェクト

incrementalRobustRandomCutForest | incrementalOneClassSVM