incrementalLearner

バイナリ分類用のカーネル モデルをインクリメンタル学習器に変換

R2022a 以降

構文

IncrementalMdl = incrementalLearner(Mdl)

IncrementalMdl = incrementalLearner(Mdl,Name=Value)

説明

IncrementalMdl = incrementalLearner(Mdl) は、Mdl の従来式の学習済みカーネル モデル オブジェクトまたはカーネル モデル テンプレート オブジェクトを使用して、インクリメンタル学習用のバイナリ ガウス カーネル分類モデル IncrementalMdl を返します。

従来式の学習済みモデルを指定する場合、そのプロパティの値は Mdl から得られた知識 (モデルのパラメーターとハイパーパラメーター) を反映した内容になります。そのため、IncrementalMdl は新しい観測値に対してラベルの予測を行うことができます。また "ウォーム" となるため、予測性能が追跡されます。

IncrementalMdl = incrementalLearner(Mdl,Name=Value) は、1 つ以上の名前と値の引数によって指定された追加オプションを使用します。一部のオプションでは、予測性能の追跡を行う前に IncrementalMdl に学習させる必要があります。たとえば、MetricsWarmupPeriod=50,MetricsWindowSize=100 は、50 個の観測値から成る、パフォーマンス メトリクスの追跡前のインクリメンタル学習の予備期間を指定し、ウィンドウ パフォーマンス メトリクスを更新する前に 100 個の観測値を処理することを指定します。

例

従来式の学習済みモデルのインクリメンタル学習器への変換

fitckernel を使用してバイナリ学習用のカーネル分類モデルに学習させ、それをインクリメンタル学習器に変換します。

データの読み込みと前処理

人の行動のデータ セットを読み込みます。

load humanactivity

データ セットの詳細については、コマンド ラインで Description を入力してください。

応答は、次の 5 つのクラスのいずれかになります。Sitting、Standing、Walking、Running、または Dancing。被験者が移動しているかどうか (actid > 2) を基準に、応答を二分します。

Y = actid > 2;

カーネル分類モデルの学習

カーネル分類モデルをデータ セット全体に当てはめます。

Mdl = fitckernel(feat,Y)

Mdl = 
  ClassificationKernel
              ResponseName: 'Y'
                ClassNames: [0 1]
                   Learner: 'svm'
    NumExpansionDimensions: 2048
               KernelScale: 1
                    Lambda: 4.1537e-05
             BoxConstraint: 1

Mdl は従来式の学習済みカーネル分類モデルを表す ClassificationKernel モデル オブジェクトです。

学習済みモデルの変換

従来式の学習済みカーネル分類モデルをインクリメンタル学習用のモデルに変換します。

IncrementalMdl = incrementalLearner(Mdl,Solver="sgd",LearnRate=1)

IncrementalMdl = 
  incrementalClassificationKernel

                    IsWarm: 1
                   Metrics: [1x2 table]
                ClassNames: [0 1]
            ScoreTransform: 'none'
    NumExpansionDimensions: 2048
               KernelScale: 1

IncrementalMdl は、インクリメンタル学習用に準備された incrementalClassificationKernel モデル オブジェクトです。

• 関数 incrementalLearner は、モデル パラメーターを、Mdl が学習データから抽出した他の情報と共に渡して、インクリメンタル学習器を初期化します。

• IncrementalMdl はウォーム (IsWarm が 1) です。これは、インクリメンタル学習関数がパフォーマンス メトリクスの追跡を開始できることを意味します。

• fitckernel がメモリ制限 Broyden-Fletcher-Goldfarb-Shanno (LBFGS) ソルバーを使用して Mdl に学習させるのに対し、incrementalClassificationKernel は適応型スケール不変ソルバーを使用してモデルに学習させます。

応答予測

従来式の学習済みモデルから変換して作成したインクリメンタル学習器は、追加の処理なしで予測を生成できます。

両方のモデルを使用して、すべての観測値の分類スコアを予測します。

[~,ttscores] = predict(Mdl,feat);
[~,ilscores] = predict(IncrementalMdl,feat);
compareScores = norm(ttscores(:,1) - ilscores(:,1))

compareScores = 0

モデルによって生成されたスコアの差は 0 です。

パフォーマンス メトリクス オプションの構成

学習済みのカーネル分類モデルを使用して、インクリメンタル学習器を初期化します。メトリクスのウォームアップ期間とメトリクス ウィンドウ サイズを指定して、インクリメンタル学習器を準備します。

人の行動のデータ セットを読み込みます。

load humanactivity

データ セットの詳細については、コマンド ラインで Description を入力してください。

応答は、次の 5 つのクラスのいずれかになります。座る、立つ、歩く、走る、踊るです。被験者が移動しているかどうか (actid > 2) を基準に、応答を二分します。

Y = actid > 2;

データ セットは行動ごとにグループ化されているため、データをシャッフルして単純にします。次に、データをランダムに 2 分割します。最初の半分は従来式のモデルの学習用、残りの半分はインクリメンタル学習用です。

n = numel(Y);

rng(1) % For reproducibility
cvp = cvpartition(n,Holdout=0.5);
idxtt = training(cvp);
idxil = test(cvp);
shuffidx = randperm(n);
X = feat(shuffidx,:);
Y = Y(shuffidx);

% First half of data
Xtt = X(idxtt,:);
Ytt = Y(idxtt);

% Second half of data
Xil = X(idxil,:);
Yil = Y(idxil);

データの最初の半分にカーネル分類モデルを当てはめます。

Mdl = fitckernel(Xtt,Ytt);

従来式の学習済みカーネル分類モデルをインクリメンタル学習用のモデルに変換します。次を指定します。

• メトリクスのウォームアップ期間は観測値 2000 個

• メトリクス ウィンドウ サイズは観測値 500 個

• 分類誤差およびヒンジ損失を使用してモデルの性能を測定

IncrementalMdl = incrementalLearner(Mdl, ...
    MetricsWarmupPeriod=2000,MetricsWindowSize=500, ...
    Metrics=["classiferror","hinge"]);

関数 updateMetricsAndFit を使用して、インクリメンタル モデルをデータの残りの半分に当てはめます。各反復で次を行います。

• 20 個の観測値を一度に処理して、データ ストリームをシミュレート。

• 前のインクリメンタル モデルを、入力観測値に当てはめた新しいモデルで上書き。

• 累積メトリクス、ウィンドウ メトリクス、および学習観測値の数を保存し、インクリメンタル学習中にそれらがどのように進化するかを確認。

% Preallocation
nil = numel(Yil);
numObsPerChunk = 20;
nchunk = ceil(nil/numObsPerChunk);
ce = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]);
hinge = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]); 
numtrainobs = [zeros(nchunk,1)];

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;    
    IncrementalMdl = updateMetricsAndFit(IncrementalMdl,Xil(idx,:),Yil(idx));
    ce{j,:} = IncrementalMdl.Metrics{"ClassificationError",:};
    hinge{j,:} = IncrementalMdl.Metrics{"HingeLoss",:};
    numtrainobs(j) = IncrementalMdl.NumTrainingObservations;
end

IncrementalMdl は、ストリーム内のすべてのデータで学習させた incrementalClassificationKernel モデル オブジェクトです。インクリメンタル学習中およびモデルがウォームアップされた後、updateMetricsAndFit は入力観測値でモデルの性能をチェックし、モデルをその観測値に当てはめます。

学習観測値の数とパフォーマンス メトリクスのトレース プロットを別々のタイルにプロットします。

t = tiledlayout(3,1);
nexttile
plot(numtrainobs)
xlim([0 nchunk])
ylabel(["Number of","Training Observations"])
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,"--")
nexttile
plot(ce.Variables)
xlim([0 nchunk])
ylabel("Classification Error")
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,"--")
legend(ce.Properties.VariableNames,Location="best")
nexttile
plot(hinge.Variables)
xlim([0 nchunk])
ylabel("Hinge Loss")
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,"--")
xlabel(t,"Iteration")

プロットは、updateMetricsAndFit が次を行うことを示しています。

• モデルをインクリメンタル学習のすべての反復で当てはめ。

• パフォーマンス メトリクスをメトリクスのウォームアップ期間後にのみ計算。

• 累積メトリクスを各反復中に計算。

• ウィンドウ メトリクスを 500 個の観測値 (25 回の反復) の処理後に計算。

SGD ソルバーの指定

incrementalClassificationKernel の既定のソルバーは適応型スケール不変ソルバーです。このソルバーの場合、モデルを当てはめる前にハイパーパラメーターの調整は必要ありません。ただし、代わりに標準確率的勾配降下 (SGD) ソルバーまたは平均化 SGD (ASGD) ソルバーのいずれかを指定する場合は、推定期間を指定することもできます。その間、インクリメンタル近似関数は学習率を調整します。

人の行動のデータ セットを読み込みます。

load humanactivity

データ セットの詳細については、コマンド ラインで Description を入力してください。

応答は、次の 5 つのクラスのいずれかになります。Sitting、Standing、Walking、Running、および Dancing。被験者が移動しているかどうか (actid > 2) を基準に、応答を二分します。

Y = actid > 2;

データをランダムに 2 分割します。最初の半分は従来式のモデルの学習用、残りの半分はインクリメンタル学習用です。

n = numel(Y);

rng(1) % For reproducibility
cvp = cvpartition(n,Holdout=0.5);
idxtt = training(cvp);
idxil = test(cvp);

% First half of data 
Xtt = feat(idxtt,:);
Ytt = Y(idxtt);

% Second half of data
Xil = feat(idxil,:);
Yil = Y(idxil);

データの最初の半分にカーネル分類モデルを当てはめます。

TTMdl = fitckernel(Xtt,Ytt);

従来式の学習済みカーネル分類モデルをインクリメンタル学習用のモデルに変換します。標準 SGD ソルバーを指定し、推定期間を 2000 個の観測値に指定します (学習率が必要な場合の既定は 1000)。

IncrementalMdl = incrementalLearner(TTMdl,Solver="sgd",EstimationPeriod=2000);

IncrementalMdl はインクリメンタル学習用に構成された incrementalClassificationKernel モデル オブジェクトです。

関数 fit を使用して、インクリメンタル モデルをデータの残りの半分に当てはめます。各反復で次を行います。

• 10 個の観測値を一度に処理して、データ ストリームをシミュレート。

• 前のインクリメンタル モデルを、入力観測値に当てはめた新しいモデルで上書き。

• 初期学習率と学習観測値の数を保存して、学習中にそれらがどのように進化するかを確認。

% Preallocation
nil = numel(Yil);
numObsPerChunk = 10;
nchunk = floor(nil/numObsPerChunk);
learnrate = [zeros(nchunk,1)];
numtrainobs = [zeros(nchunk,1)];

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    IncrementalMdl = fit(IncrementalMdl,Xil(idx,:),Yil(idx));
    learnrate(j) = IncrementalMdl.SolverOptions.LearnRate;
    numtrainobs(j) = IncrementalMdl.NumTrainingObservations;
end

IncrementalMdl は、ストリーム内のすべてのデータで学習させた incrementalClassificationKernel モデル オブジェクトです。

学習観測値の数と初期学習率のトレース プロットを別々のタイルにプロットします。

t = tiledlayout(2,1);
nexttile
plot(numtrainobs)
xlim([0 nchunk])
xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,"-.");
ylabel("Number of Training Observations")
nexttile
plot(learnrate)
xlim([0 nchunk])
ylabel("Initial Learning Rate")
xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,"-.");
xlabel(t,"Iteration")

プロットから、推定期間中は関数 fit がモデルをストリーミング データに当てはめないことがわかります。初期学習率は、推定期間後に 0.7 から自動調整された値に急転します。ソフトウェアでの学習時は、IncrementalMdl のLearnRateScheduleプロパティで指定された初期値から徐々に減衰する学習率が使用されます。

入力引数

Mdl — 従来式の学習済みモデルまたはモデル テンプレート

ClassificationKernel モデル オブジェクト | カーネル モデル テンプレート

従来式の学習済みガウス カーネル モデルまたはカーネル モデル テンプレート。fitckernel によって返される ClassificationKernel モデル オブジェクト、または templateKernel によって返されるテンプレート オブジェクトとして指定します。

メモ

インクリメンタル学習関数は、数値の入力予測子データのみをサポートします。Mdl に categorical データで学習させた場合、インクリメンタル学習関数を使用するには符号化したバージョンの categorical データを準備する必要があります。dummyvar を使用して、各カテゴリカル変数をダミー変数で構成される数値行列に変換します。その後、学習関数での categorical データの符号化と同じ方法で、すべてのダミー変数行列とその他の数値予測子を連結します。詳細については、ダミー変数を参照してください。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで Name は引数名、Value は対応する値です。名前と値の引数は他の引数の後ろにする必要がありますが、ペアの順序は関係ありません。

例: Solver="sgd",MetricsWindowSize=100 は、目的関数の最適化用に確率的勾配降下ソルバーを指定し、ウィンドウ パフォーマンス メトリクスを更新する前に 100 個の観測値を処理することを指定します。

一般オプション

Solver — 目的関数の最小化手法

"scale-invariant" (既定値) | "sgd" | "asgd"

目的関数の最小化手法。次の表の値として指定します。

値	説明	メモ:
"scale-invariant"	インクリメンタル学習用の適応型スケール不変ソルバー[1]	このアルゴリズムはパラメーターを持たず、予測子のスケールの違いに適応できます。SGD または ASGD を使用する前に、このアルゴリズムを試してください。 関数 fit でモデルを当てはめる前にデータの入力チャンクをシャッフルするには、Shuffle を true に設定します。
"sgd"	確率的勾配降下法 (SGD) [2][3]	SGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。 関数 fit でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。
"asgd"	平均化確率的勾配降下法 (ASGD) [4]	ASGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。 関数 fit でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。

例: Solver="sgd"

データ型: char | string

EstimationPeriod — ハイパーパラメーターの推定のために処理する観測値の数

非負の整数

ハイパーパラメーターの推定のために、パフォーマンス メトリクスの学習または追跡の前にインクリメンタル モデルが処理する観測値の数。非負の整数として指定します。

メモ

• Mdl をインクリメンタル学習用に準備する場合 (学習に必要なすべてのハイパーパラメーターを指定する必要があります)、incrementalLearner は EstimationPeriod を 0 に強制します。

• Mdl をインクリメンタル学習用に準備しない場合、incrementalLearner は EstimationPeriod を 1000 に設定します。

詳細については、推定期間を参照してください。

例: EstimationPeriod=100

データ型: single | double

Standardize — 予測子データを標準化するためのフラグ

"auto" (既定値) | false | true

R2023b 以降

予測子データを標準化するためのフラグ。次の表の値として指定します。

値	説明
"auto"	incrementalLearner が予測子変数を標準化する必要があるかどうかを決定します。データの標準化を参照してください。
true	ソフトウェアが予測子データを標準化します。
false	ソフトウェアが予測子データを標準化しません。

ある条件下で、incrementalLearner によって指定がオーバーライドされる場合があります。詳細については、データの標準化を参照してください。

例: Standardize=true

データ型: logical | char | string

SGD および ASGD ソルバーのオプション

BatchSize — ミニバッチのサイズ

10 (既定値) | 正の整数

ミニバッチのサイズ。正の整数として指定します。学習中の各学習サイクルで、incrementalLearner は BatchSize 個の観測値を使用して劣勾配を計算します。

最後のミニバッチ (fit または updateMetricsAndFit の各関数呼び出しにおける最後の学習サイクル) に含まれる観測値の数は、BatchSize より小さくてもかまいません。たとえば、fit または updateMetricsAndFit に 25 個の観測値を指定した場合、関数は最初の 2 つの学習サイクルに 10 個の観測値を使用し、最後の学習サイクルに 5 の観測値を使用します。

例: BatchSize=5

データ型: single | double

Lambda — リッジ (L2) 正則化項の強度

1e-5 (既定値) | 非負のスカラー

リッジ (L2) 正則化項の強度。非負のスカラーとして指定します。

例: Lambda=0.01

データ型: single | double

LearnRate — 初期学習率

"auto" (既定値) | 正のスカラー

初期学習率。"auto" または正のスカラーとして指定します。

学習率は、目的の劣勾配をスケールすることによって最適化のステップ サイズを制御します。LearnRate は学習率の初期値を指定し、LearnRateSchedule によって後続の学習サイクルの学習率が決まります。

"auto" を指定した場合、次のようになります。

• 初期学習率は 0.7 となります。

• EstimationPeriod > 0 の場合、fit および updateMetricsAndFit は、EstimationPeriod の最後にこの比率を 1/sqrt(1+max(sum(X.^2,2))) に変更します。

例: LearnRate=0.001

データ型: single | double | char | string

LearnRateSchedule — 学習率スケジュール

"decaying" (既定値) | "constant"

学習率スケジュール。次の表の値として指定します。ここで、LearnRate は初期学習率 ɣ₀ を指定します。

値	説明
"constant"	すべての学習サイクルの学習率を ɣ0 とする。
"decaying"	学習サイクル t での学習率を次とする。 $${\gamma }_t=\frac{{\gamma }_0}{{\left(1+\lambda {\gamma }_{0}t\right)}^c}.$$ λ は Lambda の値です。 Solver が "sgd" の場合、c = 1 です。 Solver が "asgd" の場合、c = 0.75 です[4]。

例: LearnRateSchedule="constant"

データ型: char | string

適応型スケール不変ソルバーのオプション

Shuffle — 観測値のシャッフル フラグ

true または 1 (既定値) | false または 0

各反復での観測値のシャッフル フラグ。logical 1 (true) または 0 (false) として指定します。

値	説明
logical 1 (true)	ソフトウェアが、関数 fit でモデルを当てはめる前に、データの入力チャンク内の観測値をシャッフルします。このアクションにより、抽出スキームによって誘発されるバイアスが低減されます。
logical 0 (false)	ソフトウェアが、受信した順序でデータを処理します。

例: Shuffle=false

データ型: logical

パフォーマンス メトリクス オプション

Metrics — インクリメンタル学習中に追跡するモデルのパフォーマンス メトリクス

"classiferror" (既定値) | string ベクトル | 関数ハンドル | cell ベクトル | 構造体配列 | "binodeviance" | "exponential" | "hinge" | "logit" | "quadratic"

関数 updateMetrics または updateMetricsAndFit を使ってインクリメンタル学習中に追跡するモデルのパフォーマンス メトリクス。組み込みの損失関数の名前、名前の string ベクトル、関数ハンドル (@metricName)、関数ハンドルの構造体配列、または名前、関数ハンドル、構造体配列の cell ベクトルとして指定します。

次の表は、組み込みの損失関数名の一覧です。string ベクトルを使用して、複数指定できます。

名前	説明
"binodeviance"	二項分布からの逸脱度
"classiferror"	分類誤差
"exponential"	指数損失
"hinge"	ヒンジ損失
"logit"	ロジスティック損失
"quadratic"	二次損失

組み込み損失関数の詳細については、loss を参照してください。

例: Metrics=["classiferror","hinge"]

パフォーマンス メトリクスを返すカスタム関数を指定するには、関数ハンドル表記を使用します。関数は次の形式でなければなりません。

metric = customMetric(C,S)

• 出力引数 metric は n 行 1 列の数値ベクトルです。ここで、各要素は、学習サイクル中にインクリメンタル学習関数によって処理されたデータの対応する観測値の損失です。

• 関数名 (customMetric) を指定します。

• C は n 行 2 列の logical 行列であり、対応する観測値が属するクラスを各行が示します。列の順序はインクリメンタル学習用のモデルにおけるクラスの順序に対応します。C を作成するには、指定されたデータの各観測値について観測値 p がクラス q に属する場合に C(p,q) = 1 を設定します。行 p の他の要素を 0 に設定します。

• S は、予測分類スコアの n 行 2 列の数値行列です。S は predict の出力 score に似ています。ここで、行はデータの観測値に対応し、列の順序はインクリメンタル学習用のモデルにおけるクラスの順序に対応しています。S(p,q) は、クラス q に分類されている観測値 p の分類スコアです。

複数のカスタム メトリクスを指定し、それぞれにカスタム名を割り当てるには、構造体配列を使用します。組み込みメトリクスとカスタム メトリクスの組み合わせを指定するには、cell ベクトルを使用します。

例: Metrics=struct(Metric1=@customMetric1,Metric2=@customMetric2)

例: Metrics={@customMetric1,@customMetric2,"logit",struct(Metric3=@customMetric3)}

updateMetrics および updateMetricsAndFit は、table で指定したメトリクスをプロパティ IncrementalMdl.Metrics に保存します。Metrics のデータ型によって、table の行名が決まります。

Metrics 値のデータ型	Metrics プロパティの行名の説明	例
string または文字ベクトル	対応する組み込みメトリクスの名前	"classiferror" の行名は "ClassificationError"
構造体配列	フィールド名	struct(Metric1=@customMetric1) の行名は "Metric1"
プログラム ファイルに格納されている関数への関数ハンドル	関数名	@customMetric の行名は "customMetric"
無名関数	CustomMetric_j。ここで、j は Metrics のメトリクス j	@(C,S)customMetric(C,S)... の行名は CustomMetric_1

パフォーマンス メトリクス オプションの詳細については、パフォーマンス メトリクスを参照してください。

データ型: char | string | struct | cell | function_handle

MetricsWarmupPeriod — パフォーマンス メトリクスを追跡する前に当てはめる観測値の数

0 (既定値) | 非負の整数

インクリメンタル モデルが Metrics プロパティのパフォーマンス メトリクスを追跡する前に当てはめなければならない観測値の数。非負の整数として指定します。インクリメンタル モデルは、インクリメンタル近似関数が (EstimationPeriod + MetricsWarmupPeriod) 個の観測値をインクリメンタル モデルに当てはめた後にウォームになります。

パフォーマンス メトリクス オプションの詳細については、パフォーマンス メトリクスを参照してください。

例: MetricsWarmupPeriod=50

データ型: single | double

MetricsWindowSize — ウィンドウ パフォーマンス メトリクスの計算に使用する観測値の数

200 (既定値) | 正の整数

ウィンドウ パフォーマンス メトリクスの計算に使用する観測値の数。正の整数として指定します。

パフォーマンス メトリクス オプションの詳細については、パフォーマンス メトリクスを参照してください。

例: MetricsWindowSize=250

データ型: single | double

出力引数

IncrementalMdl — インクリメンタル学習用のバイナリ ガウス カーネル分類モデル

incrementalClassificationKernel モデル オブジェクト

インクリメンタル学習用のバイナリ ガウス カーネル分類モデル。incrementalClassificationKernel モデル オブジェクトとして返されます。IncrementalMdl は新しいデータに基づいて予測を生成するようにも構成されます (predict を参照)。

関数 incrementalLearner は、Mdl のモデル情報を使用して IncrementalMdl をインクリメンタル学習用に初期化します。次の表は、incrementalLearner が IncrementalMdl の対応するプロパティに渡す Mdl のプロパティを示したものです。関数では、学習済みのモデルの係数、正則化項の強度、乱数ストリームなど、IncrementalMdl を初期化するために必要な他のモデル情報も渡します。

入力オブジェクト Mdl のタイプ	プロパティ	説明
ClassificationKernel モデル オブジェクトまたはカーネル モデル テンプレート オブジェクト	KernelScale	カーネル スケール パラメーター。正のスカラー
	Learner	線形分類モデルのタイプ。文字ベクトル
	NumExpansionDimensions	拡張空間の次元数。正の整数
ClassificationKernel モデル オブジェクト	ClassNames	バイナリ分類のクラス ラベル。2 要素のリスト
	Mu	予測子変数の平均。数値ベクトル
	NumPredictors	予測子の数。正の整数
	Prior	前のクラス ラベルの分布。数値ベクトル
	ScoreTransform	スコア変換関数。関数名または関数ハンドル
	Sigma	予測子変数の標準偏差。数値ベクトル

Mdl の従来式学習済みモデルの Cost プロパティは、incrementalClassificationKernel でサポートされないため、incrementalLearner で使用されないことに注意してください。

Mdl でカーネル テンプレート オブジェクトを指定し、Standardize を "auto" (既定の設定) に設定した場合、incrementalLearner は予測子変数を標準化するかどうかをモデル テンプレートの Standardize プロパティに応じて決定します。

詳細

インクリメンタル学習

"インクリメンタル学習" ("オンライン学習") は、予測子変数の分布、予測関数や目的関数の素性 (調整パラメーターの値を含む)、観測値にラベル付けがされているか等についてほぼ知識が無い時に、データ ストリームから入ってくるデータを処理することに関係している機械学習の一分野です。従来の機械学習は、モデルへの当てはめに十分にラベル付けされたデータを使用でき、交差検証を実施してハイパーパラメーターを調整し、予測子の分布を推論するもので、インクリメンタル学習と異なります。

入力観測値に対し、インクリメンタル学習モデルは、次のいずれかの方法 (通常はこの順序) でデータを処理します。

• ラベルの予測。

• 予測性能の測定。

• モデルの構造的な破綻やドリフトについてのチェック。

• 入力観測値へのモデルの当てはめ。

詳細については、インクリメンタル学習の概要を参照してください。

インクリメンタル学習用の適応型スケール不変ソルバー

"インクリメンタル学習用の適応型スケール不変ソルバー" ([1]で紹介) は、線形予測モデルに学習させるための勾配降下法ベースの目的ソルバーです。ソルバーはハイパーパラメーターを持たず、予測子変数のスケールの違いの影響を受けず、予測子変数の分布の事前知識が不要です。これらの特徴は、インクリメンタル学習に適しています。

標準 SGD および ASGD ソルバーは、予測子変数間のスケールの違いの影響を受けやすいため、モデルの性能低下につながることがあります。SGD および ASGD を使用して精度を向上させるには、予測子データを標準化し、正則化と学習率のパラメーターを調整できます。従来の機械学習では、交差検証と予測子を標準化してハイパーパラメーター調整を行うのに十分なデータが利用できます。しかし、インクリメンタル学習の場合、十分なデータが利用できず (たとえば、観測値が一度に 1 つしか利用できない場合があります)、予測子の分布が未知である場合があります。このような特徴があるため、インクリメンタル学習中のパラメーター調整と予測子の標準化は困難または不可能です。

インクリメンタル近似関数 fit および updateMetricsAndFit は、アルゴリズムのより積極的な ScInOL2 バージョンを使用します。

ランダムな特徴量拡張

Random Kitchen Sink[5]や Fastfood[6]などの "ランダムな特徴量拡張" は、ビッグ データに使用するカーネル分類アルゴリズムのガウス カーネルを計算効率が高い方法で近似する手法です。ランダムな特徴量拡張は、大規模な学習セットが含まれているビッグ データ事例に対する方が現実的ですが、メモリに収まる小規模なデータ セットにも適用できます。

カーネル分類アルゴリズムでは、特徴量を高次元空間にマッピングした後で、データを 2 つのクラスに分離する最適な超平面を求めます。低次元空間で線形不可分な非線形の特徴量は、拡張された高次元空間で可分にできます。超平面分類についてのすべての計算では、ドット積のみを使用します。非線形分類モデルは、ドット積 x₁x₂' を非線形カーネル関数 $$G(x_1,x_2)=\langle \phi (x_1),\phi (x_2)\rangle$$ に置き換えることにより取得できます。ここで、x_i は i 番目の観測値 (行ベクトル)、φ(x_i) は x_i を高次元空間にマッピングする変換 ("カーネル トリック" と呼ばれます) です。しかし、(n が大きい) 大規模なデータ セットでは、観測値の各ペアについて G(x₁,x₂) (グラム行列) を評価すると計算コストが高くなります。

ランダムな特徴量拡張の方式では、ドット積がガウス カーネルを近似するようなランダム変換を求めます。つまり、次のようになります。

$$G(x_1,x_2)=\langle \phi (x_1),\phi (x_2)\rangle \approx T(x_1)T(x_2)\text{'},$$

ここで、T(x) は $${ℝ}^p$$ における x を高次元空間 ($${ℝ}^m$$) にマッピングします。Random Kitchen Sink 方式では、次のランダムな変換を使用します。

$$T(x)=m^{-1/2}\exp \left(iZx\text{'}\right)\text{'},$$

ここで、$$Z\in {ℝ}^{m\times p}$$ は $$N\left(0,{\sigma }^{-2}\right)$$ から抽出した標本、σ はカーネル スケールです。この方式では O(mp) の計算および格納が必要です。

Fastfood 方式では、ガウス スケーリング行列と組み合わせたアダマール行列を使用して、Z の代わりに別のランダムな基底 V を導入します。このランダムな基底により、計算コストが O(mlogp) に、ストレージが O(m) に削減されます。

incrementalClassificationKernel は、ランダムな特徴量拡張に Fastfood 方式を使用し、線形分類を使用してガウス カーネル分類モデルに学習させます。m および σ の値は、fitckernel を使用して従来式の学習済みモデルを作成するとき、または incrementalClassificationKernel を直接呼び出してモデル オブジェクトを作成するときに、名前と値の引数 NumExpansionDimensions および KernelScale を使用してそれぞれ指定できます。

アルゴリズム

推定期間

推定期間中、インクリメンタル近似関数 fit および updateMetricsAndFit は、最初の EstimationPeriod 個の入力観測値を使用して、インクリメンタル学習に必要なハイパーパラメーターを推定 (調整) します。推定は EstimationPeriod が正の場合にのみ発生します。次の表は、ハイパーパラメーターとそれらが推定または調整される条件について説明します。

ハイパーパラメーター	モデル プロパティ	使用法	条件
予測子の平均および標準偏差	Mu および Sigma	標準化された予測子データ	次のいずれの条件にも当てはまる場合は、ハイパーパラメーターが推定されます。 Standardize の値を true に設定 (データの標準化を参照)。 IncrementalMdl.Mu および IncrementalMdl.Sigma が空の配列 []。
学習率	SolverOptions の LearnRate フィールド	ソルバーのステップ サイズの調整	次のいずれの条件にも当てはまる場合は、ハイパーパラメーターが推定されます。 名前と値の引数 Solver を "sgd" または "asgd" として指定している。 名前と値の引数 LearnRate を正のスカラーとして指定していない。
カーネル スケール パラメーター	KernelScale	ランダムな特徴量拡張用のカーネル スケール パラメーターの値の設定	incrementalLearner を使用して incrementalClassificationKernel モデル オブジェクトを作成している場合、KernelScale は推定されません。 関数 incrementalClassificationKernel を呼び出して incrementalClassificationKernel モデル オブジェクトを作成している場合、KernelScale は状況によっては推定されます。詳細については、incrementalClassificationKernel のページの推定期間を参照してください。

推定期間中には、fit がモデルを当てはめることも、updateMetricsAndFit がモデルを当てはめたりパフォーマンス メトリクスを更新したりすることもありません。推定期間の満了時に、関数はハイパーパラメーターを格納するプロパティを更新します。

データの標準化

予測子変数を標準化するようにインクリメンタル学習関数が構成されている場合、インクリメンタル学習モデル IncrementalMdl の Mu プロパティと Sigma プロパティにそれぞれ保存されている平均と標準偏差を使用して標準化が行われます。

• fitckernel を使用して入力モデル Mdl に学習させるときに予測子データを標準化する場合、次の条件が適用されます。

  • incrementalLearner は、Mdl.Mu の平均と Mdl.Sigma の標準偏差をインクリメンタル学習モデルの対応するプロパティに渡します。

  • インクリメンタル学習関数は、名前と値の引数 Standardize の値にかかわらず、予測子データを常に標準化します。

• incrementalLearner または templateKernel の名前と値の引数 Standardize を使用して Standardize=true を設定した場合、IncrementalMdl.Mu および IncrementalMdl.Sigma のプロパティが空のときは次の条件が適用されます。

  • 推定期間が正の場合 (IncrementalMdl の EstimationPeriod プロパティを参照)、インクリメンタル近似関数は、推定期間の観測値を使用して平均と標準偏差を推定します。

  • 推定期間が 0 の場合、incrementalLearner は推定期間を 1000 に強制します。その結果、インクリメンタル近似関数が推定するのは、強制された推定期間中の新しい予測子変数の平均と標準偏差になります。

• 従来式の学習済みカーネル モデル Mdl に対して Standardize="auto" (既定の設定) を設定した場合、次の条件が適用されます。

  • Mdl.Mu および Mdl.Sigma が空の場合、インクリメンタル学習関数は予測子変数を標準化しません。

  • それ以外の場合、インクリメンタル学習関数は、Mdl.Mu および Mdl.Sigma の平均と標準偏差をそれぞれ使用して予測子変数を標準化します。インクリメンタル近似関数は、推定期間の長さにかかわらず、新しい平均と標準偏差を推定しません。

• カーネル モデル テンプレート Mdl に対して Standardize="auto" (既定の設定) を設定した場合、incrementalLearner は予測子変数を標準化するかどうかをモデル テンプレートの Standardize プロパティに応じて決定します。

• インクリメンタル近似関数が予測子の平均と標準偏差を推定するとき、関数は推定期間の観測値を使用して加重平均と加重標準偏差を計算します。具体的には、関数は予測子 j (x_j) の標準化のために次を使用します。

  $$x_j^{\ast }=\frac{x_j-{\mu }_j^{\ast }}{{\sigma }_j^{\ast }}.$$

  • x_j は予測子 j、x_jk は推定期間内の予測子 j の観測値 k です。

  • $${\mu }_j^{\ast }=\frac{1}{{\displaystyle \sum _k{w}_k^{\ast }}}{\displaystyle \sum _k{w}_k^{\ast }{x}_{jk}}.$$

  • $${\left({\sigma }_j^{\ast }\right)}^2=\frac{1}{{\displaystyle \sum _k{w}_k^{\ast }}}{\displaystyle \sum _k{w}_k^{\ast }{\left(x_{jk}-{\mu }_j^{\ast }\right)}^2}.$$

  • $$w_j^{\ast }=\frac{w_j}{{\displaystyle \sum _{\forall j\in \text{Class }k}{w}_j}}{p}_k,$$

    • p_k はクラス k の事前確率です (インクリメンタル モデルの Prior プロパティ)。

    • w_j は観測値の重み j です。

パフォーマンス メトリクス

• 関数 updateMetrics および updateMetricsAndFit は、インクリメンタル モデルが "ウォーム" (IsWarm プロパティが true) のときにのみ、新しいデータからモデルのパフォーマンス メトリクス (Metrics) を追跡するインクリメンタル学習関数です。インクリメンタル モデルは、fit または updateMetricsAndFit がインクリメンタル モデルを MetricsWarmupPeriod 個の観測値 ("メトリクスのウォームアップ期間") に当てはめた後、ウォームになります。

  EstimationPeriod > 0 の場合、関数 fit および updateMetricsAndFit はモデルをデータに当てはめる前にハイパーパラメーターを推定します。そのため、関数は、モデルがメトリクスのウォームアップ期間を開始する前に EstimationPeriod 個の観測値を追加で処理しなければなりません。

• インクリメンタル モデルの Metrics プロパティは、各パフォーマンス メトリクスの 2 つの形式を table の変数 (列) Cumulative および Window とし、個々のメトリクスを行に格納します。インクリメンタル モデルがウォームになると、updateMetrics および updateMetricsAndFit は次の頻度でメトリクスを更新します。

  • Cumulative — 関数は、モデルの性能追跡の開始以降の累積メトリクスを計算します。関数は、関数が呼び出されるたびにメトリクスを更新し、提供されたデータ セット全体に基づいて計算を行います。

  • Window — 関数は、MetricsWindowSize によって決定されたウィンドウ内のすべての観測値に基づいてメトリクスを計算します。これによってソフトウェアが Window メトリクスを更新する頻度も決まります。たとえば、MetricsWindowSize が 20 の場合、関数は提供されたデータの最後の 20 個の観測値に基づいてメトリクスを計算します (X((end – 20 + 1):end,:) および Y((end – 20 + 1):end))。

    ウィンドウ内のパフォーマンス メトリクスを追跡するインクリメンタル関数は、次のプロセスを使用します。

    1. 指定された各メトリクスについて長さ MetricsWindowSize のバッファーを保存し、観測値の重みのバッファーを保存します。

    2. 入力観測値のバッチに基づくモデル性能をメトリクス バッファーの要素に入力し、対応する観測値の重みを重みバッファーに格納します。

    3. バッファーがいっぱいになると、Metrics プロパティの Window フィールドをメトリクス ウィンドウの性能の加重平均で上書きします。関数が観測値のバッチを処理するときにバッファーがあふれる場合、最新の入力観測値 MetricsWindowSize がバッファーに入り、最も古い観測値がバッファーから削除されます。たとえば、MetricsWindowSize が 20 で、メトリクス バッファーには前に処理されたバッチからの 10 個の値が存在し、15 個の値が入力されるとします。長さ 20 のウィンドウを構成するため、関数は 15 個の入力観測値からの測定値と前のバッチからの最新の 5 個の測定値を使用します。

• Cumulative と Window のパフォーマンス メトリクスの値を計算する際、スコアが NaN の観測値は省略されます。

参照

[1] Kempka, Michał, Wojciech Kotłowski, and Manfred K. Warmuth. "Adaptive Scale-Invariant Online Algorithms for Learning Linear Models." Preprint, submitted February 10, 2019. https://arxiv.org/abs/1902.07528.

[2] Langford, J., L. Li, and T. Zhang. “Sparse Online Learning Via Truncated Gradient.” J. Mach. Learn. Res., Vol. 10, 2009, pp. 777–801.

[3] Shalev-Shwartz, S., Y. Singer, and N. Srebro. “Pegasos: Primal Estimated Sub-Gradient Solver for SVM.” Proceedings of the 24th International Conference on Machine Learning, ICML ’07, 2007, pp. 807–814.

[4] Xu, Wei. “Towards Optimal One Pass Large Scale Learning with Averaged Stochastic Gradient Descent.” CoRR, abs/1107.2490, 2011.

[5] Rahimi, A., and B. Recht. “Random Features for Large-Scale Kernel Machines.” Advances in Neural Information Processing Systems. Vol. 20, 2008, pp. 1177–1184.

[6] Le, Q., T. Sarlós, and A. Smola. “Fastfood — Approximating Kernel Expansions in Loglinear Time.” Proceedings of the 30th International Conference on Machine Learning. Vol. 28, No. 3, 2013, pp. 244–252.

[7] Huang, P. S., H. Avron, T. N. Sainath, V. Sindhwani, and B. Ramabhadran. “Kernel methods match Deep Neural Networks on TIMIT.” 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. 2014, pp. 205–209.

バージョン履歴

R2022a で導入

R2023b: カーネル モデルで予測子の標準化をサポート

incrementalLearner で数値予測子の標準化がサポートされます。つまり、Standardize の値を true として指定することで、各数値予測子変数を対応する列の平均と標準偏差でセンタリングおよびスケーリングできます。ソフトウェアは、カテゴリカル予測子を標準化しません。

参考

オブジェクト

• ClassificationKernel | incrementalClassificationKernel

関数

• fit | updateMetrics | updateMetricsAndFit | predict

トピック

• インクリメンタル学習の概要
• インクリメンタル学習モデルの構成
• 柔軟なワークフローを使用した分類用のインクリメンタル学習の実装

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい