incrementalLearner

線形回帰モデルのインクリメンタル学習器への変換

R2020b 以降

構文

IncrementalMdl = incrementalLearner(Mdl)

IncrementalMdl = incrementalLearner(Mdl,Name,Value)

説明

IncrementalMdl = incrementalLearner(Mdl) は、従来式の学習済み線形回帰モデル Mdl のハイパーパラメーターと係数を使用して、インクリメンタル学習用の線形回帰モデル IncrementalMdl を返します。プロパティ値は Mdl から得られた知識を反映しているため、IncrementalMdl は新しい観測値に対してラベルの予測を行うことができます。また "ウォーム" となるため、予測性能が追跡されます。

例

IncrementalMdl = incrementalLearner(Mdl,Name,Value) は、1 つ以上の名前と値の引数によって指定された追加オプションを使用します。一部のオプションでは、予測性能の追跡を行う前に IncrementalMdl に学習させる必要があります。たとえば、'MetricsWarmupPeriod',50,'MetricsWindowSize',100 は、50 個の観測値から成る、パフォーマンスメトリクスの追跡前のインクリメンタル学習の予備期間を指定し、ウィンドウパフォーマンスメトリクスを更新する前に 100 個の観測値を処理することを指定します。

例

すべて折りたたむ

従来式の学習済みモデルのインクリメンタル学習器への変換

ライブスクリプトを開く

fitrlinear を使用して線形回帰モデルに学習させ、それをインクリメンタル学習器に変換します。

データの読み込みと前処理

2015 年のニューヨーク市住宅データセットを読み込みます。このデータの詳細については、NYC Open Data を参照してください。

load NYCHousing2015

テーブルから応答変数 SALEPRICE を抽出します。数値安定性を得るために、SALEPRICE を 1e6 の尺度でスケールします。

Y = NYCHousing2015.SALEPRICE/1e6;
NYCHousing2015.SALEPRICE = [];

カテゴリカル予測子からダミー変数メトリクスを作成します。

catvars = ["BOROUGH" "BUILDINGCLASSCATEGORY" "NEIGHBORHOOD"];
dumvarstbl = varfun(@(x)dummyvar(categorical(x)),NYCHousing2015,...
    'InputVariables',catvars);
dumvarmat = table2array(dumvarstbl);
NYCHousing2015(:,catvars) = [];

テーブル内の他のすべての数値変数を売価の線形予測子として扱います。ダミー変数の行列を予測子データの残りに連結します。

idxnum = varfun(@isnumeric,NYCHousing2015,'OutputFormat','uniform');
X = [dumvarmat NYCHousing2015{:,idxnum}];

線形回帰モデルの学習

線形回帰モデルをデータセット全体に当てはめます。

TTMdl = fitrlinear(X,Y)

TTMdl = 
  RegressionLinear
         ResponseName: 'Y'
    ResponseTransform: 'none'
                 Beta: [312x1 double]
                 Bias: 0.0956
               Lambda: 1.0935e-05
              Learner: 'svm'

TTMdl は従来式の学習済み線形回帰モデルを表す RegressionLinear モデルオブジェクトです。

学習済みモデルの変換

従来式の学習済み線形回帰モデルを、インクリメンタル学習用の線形回帰モデルに変換します。

IncrementalMdl = incrementalLearner(TTMdl)

IncrementalMdl = 
  incrementalRegressionLinear

               IsWarm: 1
              Metrics: [1x2 table]
    ResponseTransform: 'none'
                 Beta: [312x1 double]
                 Bias: 0.0956
              Learner: 'svm'

IncrementalMdl は、SVM を使用するインクリメンタル学習用に準備された incrementalRegressionLinear モデルオブジェクトです。

関数 incrementalLearner は、学習した係数を、TTMdl が学習データから抽出した他の情報と共に渡して、インクリメンタル学習器を初期化します。
IncrementalMdl はウォーム (IsWarm が 1) です。これは、インクリメンタル学習関数がパフォーマンスメトリクスの追跡を開始できることを意味します。
fitrlinear が双対 SGD ソルバーを使用して TTMdl に学習させるのに対し、incrementalRegressionLinear は適応型スケール不変ソルバーを使用してモデルに学習させます。

応答予測

従来式の学習済みモデルから変換して作成したインクリメンタル学習器は、追加の処理なしで予測を生成できます。

両方のモデルを使用して、すべての観測値の売価を予測します。

ttyfit = predict(TTMdl,X);
ilyfit = predict(IncrementalMdl,X);
compareyfit = norm(ttyfit - ilyfit)

compareyfit = 0

モデルによって生成された近似値の差は 0 です。

SGD ソルバーの指定

ライブスクリプトを開く

既定のソルバーは、適応型スケール不変ソルバーです。このソルバーを指定した場合、学習のためにパラメーターを調整する必要はありません。ただし、代わりに標準 SGD または ASGD ソルバーのいずれかを指定する場合は、推定期間を指定することもできます。その間、インクリメンタル近似関数は学習率を調整します。

2015 年のニューヨーク市住宅データセットを読み込み、シャッフルします。このデータの詳細については、NYC Open Data を参照してください。

load NYCHousing2015

rng(1) % For reproducibility
n = size(NYCHousing2015,1);
shuffidx = randsample(n,n);
NYCHousing2015 = NYCHousing2015(shuffidx,:);

テーブルから応答変数 SALEPRICE を抽出します。数値安定性を得るために、SALEPRICE を 1e6 の尺度でスケールします。

Y = NYCHousing2015.SALEPRICE/1e6;
NYCHousing2015.SALEPRICE = [];

カテゴリカル予測子からダミー変数メトリクスを作成します。

catvars = ["BOROUGH" "BUILDINGCLASSCATEGORY" "NEIGHBORHOOD"];
dumvarstbl = varfun(@(x)dummyvar(categorical(x)),NYCHousing2015,...
    'InputVariables',catvars);
dumvarmat = table2array(dumvarstbl);
NYCHousing2015(:,catvars) = [];

テーブル内の他のすべての数値変数を売価の線形予測子として扱います。ダミー変数の行列を予測子データの残りに連結します。

idxnum = varfun(@isnumeric,NYCHousing2015,'OutputFormat','uniform');
X = [dumvarmat NYCHousing2015{:,idxnum}];

データをランダムに 5% と 95% のセットに分割します。最初のセットは従来式のモデルの学習用、残りのセットはインクリメンタル学習用です。

cvp = cvpartition(n,'Holdout',0.95);
idxtt = training(cvp);
idxil = test(cvp);

% 5% set for traditional training 
Xtt = X(idxtt,:);
Ytt = Y(idxtt);

% 95% set for incremental learning
Xil = X(idxil,:);
Yil = Y(idxil);

線形回帰モデルをデータの 5% に当てはめます。

TTMdl = fitrlinear(Xtt,Ytt);

従来式の学習済み線形回帰モデルを、インクリメンタル学習用の線形回帰モデルに変換します。標準 SGD ソルバーを指定し、推定期間を 2e4 個の観測値に指定します (学習率が必要な場合の既定は 1000)。

IncrementalMdl = incrementalLearner(TTMdl,'Solver','sgd','EstimationPeriod',2e4);

IncrementalMdl は incrementalRegressionLinear モデルオブジェクトです。

関数 fit を使用して、インクリメンタルモデルを残りのデータに当てはめます。各反復で次を行います。

10 個の観測値を一度に処理して、データストリームをシミュレート。
前のインクリメンタルモデルを、入力観測値に当てはめた新しいモデルで上書き。
初期学習率と $β_{1}$ を保存して、係数と比率が学習中にどのように進化したかを確認。

% Preallocation
nil = numel(Yil);
numObsPerChunk = 10;
nchunk = floor(nil/numObsPerChunk);
learnrate = [IncrementalMdl.LearnRate; zeros(nchunk,1)];
beta1 = [IncrementalMdl.Beta(1); zeros(nchunk,1)];    

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    IncrementalMdl = fit(IncrementalMdl,Xil(idx,:),Yil(idx));
    beta1(j + 1) = IncrementalMdl.Beta(1);
    learnrate(j + 1) = IncrementalMdl.LearnRate;
end

IncrementalMdl は、ストリーム内のすべてのデータで学習させた incrementalRegressionLinear モデルオブジェクトです。

初期学習率と $β_{1}$ が学習中にどのように進化したかを確認するには、それらを別々のタイルにプロットします。

t = tiledlayout(2,1);
nexttile
plot(beta1)
hold on
ylabel('\beta_1')
xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,'r-.')
nexttile
plot(learnrate)
ylabel('Initial Learning Rate')
xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,'r-.')
xlabel(t,'Iteration')

$Figure contains 2 axes objects. Axes object 1 with ylabel \beta_1 contains 2 objects of type line, constantline. Axes object 2 with ylabel Initial Learning Rate contains 2 objects of type line, constantline.$

初期学習率は、推定期間後に 0.7 から自動調整された値に急転します。ソフトウェアでの学習時は、IncrementalMdl のLearnRateScheduleプロパティで指定された初期値から徐々に減衰する学習率が使用されます。

推定期間中には fit がモデルをストリーミングデータに当てはめないため、 $β_{1}$ は、最初の 2000 回の反復 (20,000 個の観測値) では定数です。その後、 $β_{1}$ は、fit が 10 個の観測値の新しいチャンクそれぞれにモデルを当てはめるたびに少しずつ変化します。

パフォーマンスメトリクスオプションの構成

ライブスクリプトを開く

学習済みの線形回帰モデルを使用して、インクリメンタル学習器を初期化します。メトリクスのウォームアップ期間を指定して、インクリメンタル学習器を準備します。その間、関数updateMetricsAndFitはモデルの当てはめのみを行います。メトリクスウィンドウサイズを観測値 500 個に指定します。

ロボットアームのデータセットを読み込みます。

load robotarm

データセットの詳細については、コマンドラインで Description を入力してください。

データをランダムに 5% と 95% のセットに分割します。最初のセットは従来式のモデルの学習用、残りのセットはインクリメンタル学習用です。

n = numel(ytrain);

rng(1) % For reproducibility
cvp = cvpartition(n,'Holdout',0.95);
idxtt = training(cvp);
idxil = test(cvp);

% 5% set for traditional training
Xtt = Xtrain(idxtt,:);
Ytt = ytrain(idxtt);

% 95% set for incremental learning
Xil = Xtrain(idxil,:);
Yil = ytrain(idxil);

線形回帰モデルを最初のセットに当てはめます。

TTMdl = fitrlinear(Xtt,Ytt);

従来式の学習済み線形回帰モデルを、インクリメンタル学習用の線形回帰モデルに変換します。次を指定します。

メトリクスのウォームアップ期間は観測値 2000 個。
メトリクスウィンドウサイズは観測値 500 個。
イプシロン不感応損失、MSE、および平均絶対誤差 (MAE) を使用してモデルの性能を測定。ソフトウェアは、イプシロン不感応損失および MSE をサポートしています。新しい各観測値の絶対誤差を測定する無名関数を作成します。名前 MeanAbsoluteError とそれに対応する関数を含む構造体配列を作成します。

maefcn = @(z,zfit)abs(z - zfit);
maemetric = struct("MeanAbsoluteError",maefcn);
IncrementalMdl = incrementalLearner(TTMdl,'MetricsWarmupPeriod',2000,'MetricsWindowSize',500,...
    'Metrics',{'epsiloninsensitive' 'mse' maemetric});

関数 updateMetricsAndFit を使用して、インクリメンタルモデルを残りのデータに当てはめます。各反復で次を行います。

50 個の観測値を一度に処理して、データストリームをシミュレート。
前のインクリメンタルモデルを、入力観測値に当てはめた新しいモデルで上書き。
$β_{10}$ 、累積メトリクス、およびウィンドウメトリクスを保存し、インクリメンタル学習中にそれらがどのように進化するかを確認。

% Preallocation
nil = numel(Yil);
numObsPerChunk = 50;
nchunk = floor(nil/numObsPerChunk);
ei = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
mse = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
mae = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = zeros(nchunk+1,1);    
beta1(1) = IncrementalMdl.Beta(10);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;    
    IncrementalMdl = updateMetricsAndFit(IncrementalMdl,Xil(idx,:),Yil(idx));
    ei{j,:} = IncrementalMdl.Metrics{"EpsilonInsensitiveLoss",:};
    mse{j,:} = IncrementalMdl.Metrics{"MeanSquaredError",:};
    mae{j,:} = IncrementalMdl.Metrics{"MeanAbsoluteError",:};
    beta1(j + 1) = IncrementalMdl.Beta(10);
end

IncrementalMdl は、ストリーム内のすべてのデータで学習させた incrementalRegressionLinear モデルオブジェクトです。インクリメンタル学習中およびモデルがウォームアップされた後、updateMetricsAndFit は入力観測値でモデルの性能をチェックし、モデルをその観測値に当てはめます。

パフォーマンスメトリクスと $β_{10}$ が学習中にどのように進化するかを確認するには、それらを別々のタイルにプロットします。

tiledlayout(2,2)
nexttile
plot(beta1)
ylabel('\beta_{10}')
xlim([0 nchunk])
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.')
xlabel('Iteration')
nexttile
h = plot(ei.Variables);
xlim([0 nchunk])
ylabel('Epsilon Insensitive Loss')
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.')
legend(h,ei.Properties.VariableNames)
xlabel('Iteration')
nexttile
h = plot(mse.Variables);
xlim([0 nchunk]);
ylabel('MSE')
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.')
legend(h,mse.Properties.VariableNames)
xlabel('Iteration')
nexttile
h = plot(mae.Variables);
xlim([0 nchunk]);
ylabel('MAE')
xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.')
legend(h,mae.Properties.VariableNames)
xlabel('Iteration')

$Figure contains 4 axes objects. Axes object 1 with xlabel Iteration, ylabel \beta_{10} contains 2 objects of type line, constantline. Axes object 2 with xlabel Iteration, ylabel Epsilon Insensitive Loss contains 3 objects of type line, constantline. These objects represent Cumulative, Window. Axes object 3 with xlabel Iteration, ylabel MSE contains 3 objects of type line, constantline. These objects represent Cumulative, Window. Axes object 4 with xlabel Iteration, ylabel MAE contains 3 objects of type line, constantline. These objects represent Cumulative, Window.$

プロットは、updateMetricsAndFit が次を行うことを示しています。

$β_{10}$ をインクリメンタル学習のすべての反復で当てはめる。
パフォーマンスメトリクスをメトリクスのウォームアップ期間後にのみ計算。
累積メトリクスを各反復中に計算。
ウィンドウメトリクスを 500 個の観測値の処理後に計算。

入力引数

すべて折りたたむ

`Mdl` — 従来式の学習済み線形回帰モデル
`RegressionLinear` モデルオブジェクト

従来式の学習済み線形回帰モデル。fitrlinear によって返される RegressionLinear モデルオブジェクトとして指定します。

メモ

Mdl.Lambda が数値ベクトルの場合、selectModels を使用して、正則化パス内の 1 つの正則化強度に対応するモデルを選択しなければなりません。
インクリメンタル学習関数は、数値の入力予測子データのみをサポートします。Mdl に categorical データで学習させた場合、インクリメンタル学習関数を使用するには符号化したバージョンの categorical データを準備する必要があります。dummyvar を使用して、各カテゴリカル変数をダミー変数で構成される数値行列に変換します。その後、学習関数での categorical データの符号化と同じ方法で、すべてのダミー変数行列とその他の数値予測子を連結します。詳細については、ダミー変数を参照してください。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで Name は引数名、Value は対応する値です。名前と値の引数は他の引数の後ろにする必要がありますが、ペアの順序は関係ありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: 'Solver','scale-invariant','MetricsWindowSize',100 は、目的関数の最適化用に適応型スケール不変ソルバーを指定し、ウィンドウパフォーマンスメトリクスを更新する前に 100 個の観測値を処理することを指定します。

一般オプション

すべて折りたたむ

`Solver` — 目的関数の最小化手法
`'scale-invariant'` | `'sgd'` | `'asgd'`

目的関数の最小化手法。'Solver' と次の表の値で構成されるコンマ区切りのペアとして指定します。

値説明メモ:

値	説明	メモ:
`'scale-invariant'`	インクリメンタル学習用の適応型スケール不変ソルバー [1]	このアルゴリズムはパラメーターを持たず、予測子のスケールの違いに適応できます。SGD または ASGD を使用する前に、このアルゴリズムを試してください。関数 `fit` でモデルを当てはめる前にデータの入力チャンクをシャッフルするには、`Shuffle` を `true` に設定します。
`'sgd'`	確率的勾配降下法 (SGD) [3][2]	SGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。関数 `fit` でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。
`'asgd'`	平均化確率的勾配降下法 (ASGD) [4]	ASGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。関数 `fit` でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。

'scale-invariant'

インクリメンタル学習用の適応型スケール不変ソルバー [1]

このアルゴリズムはパラメーターを持たず、予測子のスケールの違いに適応できます。SGD または ASGD を使用する前に、このアルゴリズムを試してください。
関数 fit でモデルを当てはめる前にデータの入力チャンクをシャッフルするには、Shuffle を true に設定します。

'sgd'

確率的勾配降下法 (SGD) [3][2]

SGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。
関数 fit でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。

'asgd'

平均化確率的勾配降下法 (ASGD) [4]

ASGD で効果的に学習させるには、データを標準化し、SGD および ASGD ソルバーのオプションにリストされているオプションを使用してハイパーパラメーターの適切な値を指定します。
関数 fit でモデルを当てはめる前にデータの入力チャンクが常にシャッフルされます。

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、Solver の既定値は Mdl.ModelParameters.Solver です。
それ以外の場合、Solver の既定値は 'scale-invariant' です。

例: 'Solver','sgd'

データ型: char | string

`EstimationPeriod` — ハイパーパラメーターの推定のために処理する観測値の数
非負の整数

ハイパーパラメーターの推定のために、パフォーマンスメトリクスの学習または追跡の前にインクリメンタルモデルが処理する観測値の数。'EstimationPeriod' と非負の整数で構成されるコンマ区切りのペアとして指定します。

メモ

Mdl をインクリメンタル学習用に準備する場合 (学習に必要なすべてのハイパーパラメーターを指定する必要があります)、incrementalLearner は EstimationPeriod を 0 に強制します。
Mdl をインクリメンタル学習用に準備しない場合、incrementalLearner は EstimationPeriod を 1000 に設定します。

詳細は、推定期間を参照してください。

例: 'EstimationPeriod',100

データ型: single | double

`Standardize` — 予測子データを標準化するためのフラグ
`false` (既定値) | `true`

予測子データを標準化するためのフラグ。'Standardize' と以下の表の値で構成されるコンマ区切りのペアとして指定します。

値	説明
`true`	ソフトウェアが予測子データを標準化します。詳細は、データの標準化を参照してください。
`false`	ソフトウェアが予測子データを標準化しません。

例: 'Standardize',true

データ型: logical

SGD および ASGD ソルバーのオプション

すべて折りたたむ

`BatchSize` — ミニバッチのサイズ
正の整数

ミニバッチのサイズ。'BatchSize' と正の整数から構成されるコンマ区切りのペアとして指定します。学習中の各学習サイクルで、incrementalLearner は BatchSize 個の観測値を使用して劣勾配を計算します。

最後のミニバッチ (fit または updateMetricsAndFit の各関数呼び出しにおける最後の学習サイクル) に使用する観測値の数は、BatchSize より小さくてもかまいません。たとえば、fit または updateMetricsAndFit に 25 個の観測値を指定した場合、関数は最初の 2 つの学習サイクルに 10 個の観測値を使用し、最後の学習サイクルに 5 個の観測値を使用します。

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、BatchSize を設定することはできません。代わりに、incrementalLearner によって BatchSize が Mdl.ModelParameters.BatchSize に設定されます。
それ以外の場合は、BatchSize は 10 です。

例: 'BatchSize',1

データ型: single | double

`Lambda` — リッジ (L2) 正則化項の強度
非負のスカラー

リッジ (L2) 正則化項の強度。'Lambda' と非負のスカラーで構成されるコンマ区切りのペアとして指定します。

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、Lambda を設定することはできません。代わりに、incrementalLearner によって Lambda が Mdl.Lambda に設定されます。
それ以外の場合は、Lambda は 1e-5 です。

メモ

incrementalLearner は、LASSO 正則化をサポートしていません。Mdl.Regularization が 'lasso (L1)' の場合、incrementalLearner はリッジ正則化を代わりに使用し、名前と値のペアの引数 Solver を既定で 'scale-invariant' に設定します。

例: 'Lambda',0.01

データ型: single | double

`LearnRate` — 初期学習率
`'auto'` | 正のスカラー

初期学習率。'LearnRate' と'auto' または正のスカラーで構成されるコンマ区切りのペアとして指定します。

学習率は、目的の劣勾配をスケールすることによって最適化のステップサイズを制御します。LearnRate は学習率の初期値を指定し、LearnRateSchedule によって後続の学習サイクルの学習率が決まります。

'auto' を指定した場合、次のようになります。

初期学習率は 0.7 となります。
EstimationPeriod > 0 の場合、fit および updateMetricsAndFit は、EstimationPeriod の最後にこの比率を 1/sqrt(1+max(sum(X.^2,obsDim))) に変更します。obsDim の値は、観測値が推定期間に収集された予測子データ X の列である場合は 1、それ以外の場合は 2 です。

既定の設定では、次のようになります。

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、LearnRate を設定することはできません。代わりに、incrementalLearner によって LearnRate が Mdl.ModelParameters.LearnRate に設定されます。
それ以外の場合は、LearnRate は 'auto' です。

例: 'LearnRate',0.001

データ型: single | double | char | string

`LearnRateSchedule` — 学習率スケジュール
`'decaying'` (既定値) | `'constant'`

学習率スケジュール。'LearnRateSchedule' と次の表の値で構成されるコンマ区切りのペアとして指定します。ここで、LearnRate は初期学習率 ɣ₀ を指定します。

値説明

'constant' すべての学習サイクルの学習率を ɣ₀ とする。

値	説明
`'constant'`	すべての学習サイクルの学習率を ɣ₀ とする。
`'decaying'`	学習サイクル t での学習率を次とする。 $γ_{t} = \frac{γ_{0}}{{(1 + λ γ_{0} t)}^{c}} .$ λ は `Lambda` の値です。 `Solver` が `'sgd'` の場合、c = `1` です。 `Solver` が `'asgd'` の場合、次のようになります。 `Learner` が `'leastsquares'` の場合は c = `2/3`。 `Learner` が `'svm'` の場合は c = `3/4`[4]。

'decaying'

学習サイクル t での学習率を次とする。

$γ_{t} = \frac{γ_{0}}{{(1 + λ γ_{0} t)}^{c}} .$

λ は Lambda の値です。
Solver が 'sgd' の場合、c = 1 です。
Solver が 'asgd' の場合、次のようになります。
- Learner が 'leastsquares' の場合は c = 2/3。
- Learner が 'svm' の場合は c = 3/4[4]。

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、LearnRateSchedule を設定することはできません。代わりに、incrementalLearner によって LearnRateSchedule が 'decaying' に設定されます。

例: 'LearnRateSchedule','constant'

データ型: char | string

適応型スケール不変ソルバーのオプション

すべて折りたたむ

`Shuffle` — バッチ内観測値のシャッフルフラグ
`true` (既定値) | `false`

各反復でのバッチ内観測値のシャッフルフラグ。'Shuffle' と次の表の値で構成されるコンマ区切りのペアとして指定します。

値	説明
`true`	ソフトウェアが、関数 `fit` でモデルを当てはめる前に、データの入力チャンクをシャッフルします。このアクションにより、抽出スキームによって誘発されるバイアスが低減されます。
`false`	ソフトウェアが、受信した順序でデータを処理します。

例: 'Shuffle',false

データ型: logical

パフォーマンスメトリクスオプション

すべて折りたたむ

`Metrics` — インクリメンタル学習中に追跡するモデルのパフォーマンスメトリクス
`"epsiloninsensitive"` | `"mse"` | string ベクトル | 関数ハンドル | cell ベクトル | 構造体配列

updateMetrics および updateMetricsAndFit を使ってインクリメンタル学習中に追跡するモデルのパフォーマンスメトリクス。'Metrics' および組み込みの損失関数名で構成されるコンマ区切りのペア、名前の string ベクトル、関数ハンドル (@metricName)、関数ハンドルの構造体配列、または名前、関数ハンドル、構造体配列の cell ベクトルとして指定します。

次の表は、組み込みの損失関数名と、それらをサポートする学習器 (Mdl.Learner で指定) の一覧です。string ベクトルを使用して、複数の損失関数を指定できます。

名前	説明	メトリクスをサポートする学習器
`"epsiloninsensitive"`	イプシロン不感応損失	`'svm'`
`"mse"`	重み付けされた平均二乗誤差	`'svm'` および `'leastsquares'`

組み込み損失関数の詳細については、loss を参照してください。

例: 'Metrics',["epsiloninsensitive" "mse"]

パフォーマンスメトリクスを返すカスタム関数を指定するには、関数ハンドル表記を使用します。関数は次の形式でなければなりません。

metric = customMetric(Y,YFit)

出力引数 metric は n 行 1 列の数値ベクトルです。ここで、各要素は、学習サイクル中にインクリメンタル学習関数によって処理されたデータの対応する観測値の損失です。
関数名 (customMetric) を指定します。
Y は、観測応答の長さ n の数値ベクトルです。ここで、n は標本サイズです。
YFit は、対応する予測応答の長さ n の数値ベクトルです。

複数のカスタムメトリクスを指定し、それぞれにカスタム名を割り当てるには、構造体配列を使用します。組み込みメトリクスとカスタムメトリクスの組み合わせを指定するには、cell ベクトルを使用します。

例: 'Metrics',struct('Metric1',@customMetric1,'Metric2',@customMetric2)

例: 'Metrics',{@customMetric1 @customMetric2 'mse' struct('Metric3',@customMetric3)}

updateMetrics および updateMetricsAndFit は、table で指定したメトリクスをプロパティ IncrementalMdl.Metrics に保存します。Metrics のデータ型によって、table の行名が決まります。

`'Metrics'` 値のデータ型	`Metrics` プロパティの行名の説明	例
string または文字ベクトル	対応する組み込みメトリクスの名前	`"epsiloninsensitive"` の行名は `"EpsilonInsensitiveLoss"`
構造体配列	フィールド名	`struct('Metric1',@customMetric1)` の行名は `"Metric1"`
プログラムファイルに格納されている関数への関数ハンドル	関数名	`@customMetric` の行名は `"customMetric"`
無名関数	`CustomMetric_j`。ここで、`j` は `Metrics` のメトリクス `j`	`@(Y,YFit)customMetric(Y,YFit)...` の行名は `CustomMetric_1`

既定の設定では、次のようになります。

Mdl.Learner が 'svm' の場合、Metrics は "epsiloninsensitive" です。
Mdl.Learner が 'leastsquares' の場合、Metrics は "mse" です。

パフォーマンスメトリクスオプションの詳細については、パフォーマンスメトリクスを参照してください。

データ型: char | string | struct | cell | function_handle

`MetricsWarmupPeriod` — パフォーマンスメトリクスを追跡する前に当てはめる観測値の数
`0` (既定値) | 非負の整数

インクリメンタルモデルが Metrics プロパティのパフォーマンスメトリクスを追跡する前に当てはめなければならない観測値の数。非負の整数として指定します。インクリメンタルモデルは、インクリメンタル近似関数が (EstimationPeriod + MetricsWarmupPeriod) 個の観測値をインクリメンタルモデルに当てはめた後にウォームになります。

パフォーマンスメトリクスオプションの詳細については、パフォーマンスメトリクスを参照してください。

例: 'MetricsWarmupPeriod',50

データ型: single | double

`MetricsWindowSize` — ウィンドウパフォーマンスメトリクスの計算に使用する観測値の数
`200` (既定値) | 正の整数

ウィンドウパフォーマンスメトリクスの計算に使用する観測値の数。正の整数として指定します。

パフォーマンスメトリクスオプションの詳細については、パフォーマンスメトリクスを参照してください。

例: 'MetricsWindowSize',100

データ型: single | double

出力引数

すべて折りたたむ

`IncrementalMdl` — インクリメンタル学習用の線形回帰モデル
`incrementalRegressionLinear` モデルオブジェクト

インクリメンタル学習用の線形回帰モデル。incrementalRegressionLinear モデルオブジェクトとして返されます。IncrementalMdl は新しいデータに基づいて予測を生成するようにも構成されます (predict を参照)。

インクリメンタル学習用に IncrementalMdl を初期化するために、incrementalLearner は、次の表の Mdl プロパティの値を IncrementalMdl の対応するプロパティに渡します。

プロパティ	説明
`Beta`	線形モデル係数。数値ベクトル
`Bias`	モデル切片。数値スカラー
`Epsilon`	イプシロン不感応区間の幅の半分。非負のスカラー
`Learner`	線形回帰モデルのタイプ。文字ベクトル
`ModelParameters.FitBias`	線形モデルの切片使用フラグ
`NumPredictors`	予測子の数。正の整数
`ResponseTransform`	応答変換関数。関数名または関数ハンドル

Mdl.Regularization が 'ridge (L2)' で Mdl.ModelParameters.Solver が 'sgd' または 'asgd' の場合、incrementalLearner は次の表の Mdl プロパティの値も渡します。

プロパティ	説明
`Lambda`	リッジ (L2) 正則化項の強度。非負のスカラー
`ModelParameters.LearnRate`	学習率。正のスカラー
`ModelParameters.BatchSize`	ミニバッチのサイズ。正の整数
`ModelParameters.Solver`	目的関数の最小化手法。文字ベクトル

詳細

すべて折りたたむ

インクリメンタル学習

"インクリメンタル学習" ("オンライン学習") は、予測子変数の分布、予測関数や目的関数の素性 (調整パラメーターの値を含む)、観測値にラベル付けがされているか等についてほぼ知識が無い時に、データストリームから入ってくるデータを処理することに関係している機械学習の一分野です。従来の機械学習は、モデルへの当てはめに十分にラベル付けされたデータを使用でき、交差検証を実施してハイパーパラメーターを調整し、予測子の分布を推論するもので、インクリメンタル学習と異なります。

入力観測値に対し、インクリメンタル学習モデルは、次のいずれかの方法 (通常はこの順序) でデータを処理します。

ラベルの予測。
予測性能の測定。
モデルの構造的な破綻やドリフトについてのチェック。
入力観測値へのモデルの当てはめ。

詳細については、インクリメンタル学習の概要を参照してください。

インクリメンタル学習用の適応型スケール不変ソルバー

"インクリメンタル学習用の適応型スケール不変ソルバー" ([1]で紹介) は、線形予測モデルに学習させるための勾配降下法ベースの目的ソルバーです。ソルバーはハイパーパラメーターを持たず、予測子変数のスケールの違いの影響を受けず、予測子変数の分布の事前知識が不要です。これらの特徴は、インクリメンタル学習に適しています。

標準 SGD および ASGD ソルバーは、予測子変数間のスケールの違いの影響を受けやすいため、モデルの性能低下につながることがあります。SGD および ASGD を使用して精度を向上させるには、予測子データを標準化し、正則化と学習率のパラメーターを調整できます。従来の機械学習では、交差検証と予測子を標準化してハイパーパラメーター調整を行うのに十分なデータが利用できます。しかし、インクリメンタル学習の場合、十分なデータが利用できず (たとえば、観測値が一度に 1 つしか利用できない場合があります)、予測子の分布が未知である場合があります。このような特徴があるため、インクリメンタル学習中のパラメーター調整と予測子の標準化は困難または不可能です。

回帰用のインクリメンタル近似関数 fit および updateMetricsAndFit は、アルゴリズムのより保守的な ScInOL1 バージョンを使用します。

アルゴリズム

すべて折りたたむ

推定期間

推定期間中、インクリメンタル近似関数 fit および updateMetricsAndFit は、最初の EstimationPeriod 個の入力観測値を使用して、インクリメンタル学習に必要なハイパーパラメーターを推定 (調整) します。推定は EstimationPeriod が正の場合にのみ発生します。次の表は、ハイパーパラメーターとそれらが推定または調整される条件について説明します。

ハイパーパラメーターモデルプロパティ使用法条件

予測子の平均および標準偏差

ハイパーパラメーター	モデルプロパティ	使用法	条件
予測子の平均および標準偏差	`Mu` および `Sigma`	標準化された予測子データ	`'Standardize',true` を設定した場合 (データの標準化を参照)、ハイパーパラメーターが推定されます。
学習率	`LearnRate`	ソルバーのステップサイズの調整	次のいずれの条件にも当てはまる場合は、ハイパーパラメーターが推定されます。 `Mdl` のソルバーを SGD または ASGD に変更 (`Solver` を参照)。名前と値の引数 `'LearnRate'` を正のスカラーとして指定していない。

Mu および Sigma

標準化された予測子データ

'Standardize',true を設定した場合 (データの標準化を参照)、ハイパーパラメーターが推定されます。

学習率

LearnRate

ソルバーのステップサイズの調整

次のいずれの条件にも当てはまる場合は、ハイパーパラメーターが推定されます。

Mdl のソルバーを SGD または ASGD に変更 (Solver を参照)。
名前と値の引数 'LearnRate' を正のスカラーとして指定していない。

推定期間中には、fit がモデルを当てはめることも、updateMetricsAndFit がモデルを当てはめたりパフォーマンスメトリクスを更新したりすることもありません。推定期間の満了時に、関数はハイパーパラメーターを格納するプロパティを更新します。

データの標準化

予測子変数を標準化するようにインクリメンタル学習関数が構成されている場合、インクリメンタル学習モデル IncrementalMdl の Mu および Sigma プロパティに保存されている平均と標準偏差を使用して標準化が行われます。

'Standardize',true を設定すると、IncrementalMdl.Mu および IncrementalMdl.Sigma が空になり、次の条件が適用されます。
- 推定期間が正の場合 (IncrementalMdl の EstimationPeriod プロパティを参照)、インクリメンタル近似関数は、推定期間の観測値を使用して平均と標準偏差を推定します。
- 推定期間が 0 の場合、incrementalLearner は推定期間を 1000 に強制します。その結果、インクリメンタル近似関数が推定するのは、強制された推定期間中の新しい予測子変数の平均と標準偏差になります。
インクリメンタル近似関数が予測子の平均と標準偏差を推定するとき、関数は推定期間の観測値を使用して加重平均と加重標準偏差を計算します。具体的には、関数は次を使用して予測子 j (x_j) を標準化します。

$x_{j}^{*} = \frac{x_{j} - μ_{j}^{*}}{σ_{j}^{*}} .$
ここで
- x_j は予測子 j、x_jk は推定期間内の予測子 j の観測値 k です。
- $μ_{j}^{*} = \frac{1}{\sum_{k} w_{k}} \sum_{k} w_{k} x_{j k} .$
- ${(σ_{j}^{*})}^{2} = \frac{1}{\sum_{k} w_{k}} \sum_{k} w_{k} {(x_{j k} - μ_{j}^{*})}^{2} .$
- w_j は観測値の重み j です。

パフォーマンスメトリクス

関数 updateMetrics および updateMetricsAndFit は、インクリメンタルモデルが "ウォーム" (IsWarm プロパティ) のときに、新しいデータからモデルのパフォーマンスメトリクス ('Metrics') を追跡するインクリメンタル学習関数です。インクリメンタルモデルは、fit または updateMetricsAndFit がインクリメンタルモデルを 'MetricsWarmupPeriod' 個の観測値 ("メトリクスのウォームアップ期間") に当てはめた後、ウォームになります。
'EstimationPeriod' > 0 の場合、関数はモデルをデータに当てはめる前にハイパーパラメーターを推定します。そのため、関数は、モデルがメトリクスのウォームアップ期間を開始する前に EstimationPeriod 個の観測値を追加で処理しなければなりません。
インクリメンタルモデルの Metrics プロパティは、各パフォーマンスメトリクスの 2 つの形式を table の変数 (列) Cumulative および Window とし、個々のメトリクスを行に格納します。インクリメンタルモデルがウォームになると、updateMetrics および updateMetricsAndFit は次の頻度でメトリクスを更新します。
- Cumulative — 関数は、モデルの性能追跡の開始以降の累積メトリクスを計算します。関数は、関数が呼び出されるたびにメトリクスを更新し、提供されたデータセット全体に基づいて計算を行います。
- Window — 関数は、名前と値のペアの引数 'MetricsWindowSize' によって決定されたウィンドウ内のすべての観測値に基づいてメトリクスを計算します。'MetricsWindowSize' によってソフトウェアが Window メトリクスを更新する頻度も決まります。たとえば、MetricsWindowSize が 20 の場合、関数は提供されたデータの最後の 20 個の観測値に基づいてメトリクスを計算します (X((end – 20 + 1):end,:) および Y((end – 20 + 1):end))。
  ウィンドウ内のパフォーマンスメトリクスを追跡するインクリメンタル関数は、次のプロセスを使用します。
  1. 指定された各メトリクスについて長さ MetricsWindowSize のバッファーを保存し、観測値の重みのバッファーを保存します。
  2. 入力観測値のバッチに基づくモデル性能をメトリクスバッファーの要素に入力し、対応する観測値の重みを重みバッファーに格納します。
  3. バッファーがいっぱいになると、IncrementalMdl.Metrics.Window をメトリクスウィンドウの性能の加重平均で上書きします。関数が観測値のバッチを処理するときにバッファーがあふれる場合、最新の入力観測値 MetricsWindowSize がバッファーに入り、最も古い観測値がバッファーから削除されます。たとえば、MetricsWindowSize が 20 で、メトリクスバッファーには前に処理されたバッチからの 10 個の値が存在し、15 個の値が入力されるとします。長さ 20 のウィンドウを構成するため、関数は 15 個の入力観測値からの測定値と前のバッチからの最新の 5 個の測定値を使用します。

Cumulative と Window のパフォーマンスメトリクスの値を計算する際、予測が NaN の観測値は省略されます。

参照

[1] Kempka, Michał, Wojciech Kotłowski, and Manfred K. Warmuth. "Adaptive Scale-Invariant Online Algorithms for Learning Linear Models." Preprint, submitted February 10, 2019. https://arxiv.org/abs/1902.07528.

[2] Langford, J., L. Li, and T. Zhang. “Sparse Online Learning Via Truncated Gradient.” J. Mach. Learn. Res., Vol. 10, 2009, pp. 777–801.

[3] Shalev-Shwartz, S., Y. Singer, and N. Srebro. “Pegasos: Primal Estimated Sub-Gradient Solver for SVM.” Proceedings of the 24th International Conference on Machine Learning, ICML ’07, 2007, pp. 807–814.

[4] Xu, Wei. “Towards Optimal One Pass Large Scale Learning with Averaged Stochastic Gradient Descent.” CoRR, abs/1107.2490, 2011.

incrementalLearner

構文

説明

例

従来式の学習済みモデルのインクリメンタル学習器への変換

SGD ソルバーの指定

パフォーマンスメトリクスオプションの構成

入力引数

`Mdl` — 従来式の学習済み線形回帰モデル
`RegressionLinear` モデルオブジェクト

名前と値の引数

`Solver` — 目的関数の最小化手法
`'scale-invariant'` | `'sgd'` | `'asgd'`

`EstimationPeriod` — ハイパーパラメーターの推定のために処理する観測値の数
非負の整数

`Standardize` — 予測子データを標準化するためのフラグ
`false` (既定値) | `true`

`BatchSize` — ミニバッチのサイズ
正の整数

`Lambda` — リッジ (L2) 正則化項の強度
非負のスカラー

`LearnRate` — 初期学習率
`'auto'` | 正のスカラー

`LearnRateSchedule` — 学習率スケジュール
`'decaying'` (既定値) | `'constant'`

`Shuffle` — バッチ内観測値のシャッフルフラグ
`true` (既定値) | `false`

`Metrics` — インクリメンタル学習中に追跡するモデルのパフォーマンスメトリクス
`"epsiloninsensitive"` | `"mse"` | string ベクトル | 関数ハンドル | cell ベクトル | 構造体配列

`MetricsWarmupPeriod` — パフォーマンスメトリクスを追跡する前に当てはめる観測値の数
`0` (既定値) | 非負の整数

`MetricsWindowSize` — ウィンドウパフォーマンスメトリクスの計算に使用する観測値の数
`200` (既定値) | 正の整数

出力引数

`IncrementalMdl` — インクリメンタル学習用の線形回帰モデル
`incrementalRegressionLinear` モデルオブジェクト

詳細

インクリメンタル学習

インクリメンタル学習用の適応型スケール不変ソルバー

アルゴリズム

推定期間

データの標準化

パフォーマンスメトリクス

参照

バージョン履歴

参考

オブジェクト

関数

トピック

incrementalLearner

構文

説明

例

従来式の学習済みモデルのインクリメンタル学習器への変換

SGD ソルバーの指定

パフォーマンス メトリクス オプションの構成

入力引数

Mdl — 従来式の学習済み線形回帰モデル RegressionLinear モデル オブジェクト

名前と値の引数

Solver — 目的関数の最小化手法 'scale-invariant' | 'sgd' | 'asgd'

EstimationPeriod — ハイパーパラメーターの推定のために処理する観測値の数 非負の整数

Standardize — 予測子データを標準化するためのフラグ false (既定値) | true

BatchSize — ミニバッチのサイズ 正の整数

Lambda — リッジ (L2) 正則化項の強度 非負のスカラー

LearnRate — 初期学習率 'auto' | 正のスカラー

LearnRateSchedule — 学習率スケジュール 'decaying' (既定値) | 'constant'

Shuffle — バッチ内観測値のシャッフル フラグ true (既定値) | false

Metrics — インクリメンタル学習中に追跡するモデルのパフォーマンス メトリクス "epsiloninsensitive" | "mse" | string ベクトル | 関数ハンドル | cell ベクトル | 構造体配列

MetricsWarmupPeriod — パフォーマンス メトリクスを追跡する前に当てはめる観測値の数 0 (既定値) | 非負の整数

MetricsWindowSize — ウィンドウ パフォーマンス メトリクスの計算に使用する観測値の数 200 (既定値) | 正の整数

出力引数

IncrementalMdl — インクリメンタル学習用の線形回帰モデル incrementalRegressionLinear モデル オブジェクト

詳細

インクリメンタル学習

インクリメンタル学習用の適応型スケール不変ソルバー

アルゴリズム

推定期間

データの標準化

パフォーマンス メトリクス

参照

バージョン履歴

参考

オブジェクト

関数

トピック

パフォーマンスメトリクスオプションの構成

`Mdl` — 従来式の学習済み線形回帰モデル
`RegressionLinear` モデルオブジェクト

`Solver` — 目的関数の最小化手法
`'scale-invariant'` | `'sgd'` | `'asgd'`

`EstimationPeriod` — ハイパーパラメーターの推定のために処理する観測値の数
非負の整数

`Standardize` — 予測子データを標準化するためのフラグ
`false` (既定値) | `true`

`BatchSize` — ミニバッチのサイズ
正の整数

`Lambda` — リッジ (L2) 正則化項の強度
非負のスカラー

`LearnRate` — 初期学習率
`'auto'` | 正のスカラー

`LearnRateSchedule` — 学習率スケジュール
`'decaying'` (既定値) | `'constant'`

`Shuffle` — バッチ内観測値のシャッフルフラグ
`true` (既定値) | `false`

`Metrics` — インクリメンタル学習中に追跡するモデルのパフォーマンスメトリクス
`"epsiloninsensitive"` | `"mse"` | string ベクトル | 関数ハンドル | cell ベクトル | 構造体配列

`MetricsWarmupPeriod` — パフォーマンスメトリクスを追跡する前に当てはめる観測値の数
`0` (既定値) | 非負の整数

`MetricsWindowSize` — ウィンドウパフォーマンスメトリクスの計算に使用する観測値の数
`200` (既定値) | 正の整数

`IncrementalMdl` — インクリメンタル学習用の線形回帰モデル
`incrementalRegressionLinear` モデルオブジェクト

パフォーマンスメトリクス