Main Content

このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。

updateMetricsAndFit

新しいデータにおけるインクリメンタル学習モデルのパフォーマンス メトリクスの更新とモデルの学習

説明

ストリーミング データが与えられると、updateMetricsAndFit は、最初に、入力データの updateMetrics を呼び出して、構成済みの線形回帰用インクリメンタル学習モデル (incrementalRegressionLinear オブジェクト) または線形バイナリ分類 (incrementalClassificationLinear オブジェクト) のパフォーマンスを評価します。次に updateMetricsAndFit は、fit を呼び出して、モデルをそのデータにあてはめます。言い換えると、updateMetricsAndFit"逐次予測評価" を実行します。データの各入力チャンクを検定セットして扱い、累積的に測定されたパフォーマンス メトリクスと指定したウィンドウにおけるパフォーマンス メトリクスを追跡します[1]

updateMetricsAndFit は、モデルのパフォーマンス メトリクスを更新し、データの各チャンクでモデルに学習させる簡単な方法を提供します。一方、updateMetrics を呼び出して個別に操作を実行し、代わりに fit であてはめることもできます。これにより柔軟性を高めることができます (たとえば、データのチャンクでのパフォーマンスに基づいて、モデルに学習させる必要があるかどうかを決定できます)。

Mdl = updateMetricsAndFit(Mdl,X,Y) は、インクリメンタル学習モデル Mdl を返します。これは、入力インクリメンタル学習モデル Mdl であり、次の変更が行われます。

  1. updateMetricsAndFit は、入力予測子と応答データ (それぞれ XY) のモデル パフォーマンスを測定します。入力モデルが "ウォーム" (Mdl.IsWarmtrue) の場合、updateMetricsAndFit は以前に計算されたメトリクスを上書きし、Metrics プロパティに新しい値を保存します。それ以外の場合、updateMetricsAndFit は代わりに MetricsNaN 値を保存します。

  2. updateMetricsAndFit は、次の手順に従って、変更されたモデルを入力データにあてはめます。

    1. 入力モデル Mdl の構成、線形モデル係数、およびバイアス推定値を使用して、ソルバーを初期化します。

    2. モデルをデータにあてはめ、更新された係数推定値と構成を出力モデル Mdl に保存します。

入力モデルと出力モデルのデータ型は同じです。

Mdl = updateMetricsAndFit(Mdl,X,Y,Name,Value) は、1 つ以上の名前と値のペアの引数によって指定された追加オプションを使用します。たとえば、観測値の重みを指定したり、予測子データ行列の列が観測値に対応することを指定したりできます。

すべて折りたたむ

バイナリ分類用の既定のインクリメンタル線形 SVM モデルを作成します。

Mdl = incrementalClassificationLinear()
Mdl = 
  incrementalClassificationLinear

            IsWarm: 0
           Metrics: [1×2 table]
        ClassNames: [1×0 double]
    ScoreTransform: 'none'
              Beta: [0×1 double]
              Bias: 0
           Learner: 'svm'


  Properties, Methods

MdlincrementalClassificationLinear モデルです。そのプロパティはすべて読み取り専用です。

Mdl を先にデータにあてはめなければ、それを使用した他の演算は実行できません。

人の行動のデータ セットを読み込みます。データをランダムにシャッフルします。

load humanactivity
n = numel(actid);
rng(1); % For reproducibility
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

データ セットの詳細については、Description を表示してください。

応答は、5 つのクラスのいずれかになります。被験者が移動しているかどうか (actid > 2) を基準に、応答を二分します。

Y = Y > 2;

updateMetricsAndfit を使用してインクリメンタル モデルを学習データにあてはめます。50 個の観測値で構成されるチャンクを一度にあてはめ、データ ストリームをシミュレートします。各反復で次を行います。

  • 50 個の観測値を処理。

  • 前のインクリメンタル モデルを、入力観測値にあてはめた新しいモデルで上書き。

  • 累積メトリクス β1、およびウィンドウ メトリクスを保存し、インクリメンタル学習中の進化を監視。

% Preallocation
numObsPerChunk = 50;
nchunk = floor(n/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = zeros(nchunk,1);    

% Incremental fitting
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1);
    iend   = min(n,numObsPerChunk*j);
    idx = ibegin:iend;    
    Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx));
    ce{j,:} = Mdl.Metrics{"ClassificationError",:};
    beta1(j + 1) = Mdl.Beta(1);
end

Mdl は、ストリーム内のすべてのデータを適用させた incrementalClassificationLinear モデル オブジェクトです。インクリメンタル学習中およびモデルがウォームアップされた後、updateMetricsAndFit は入力観測値でのモデルの性能をチェックし、モデルをその観測値にあてはめます。

パフォーマンス メトリクスと β1 が学習中にどのように進化したかを確認するには、それらを別々のサブプロットにプロットします。

figure;
subplot(2,1,1)
plot(beta1)
ylabel('\beta_1')
xlim([0 nchunk]);
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
subplot(2,1,2)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
xline((Mdl.EstimationPeriod + Mdl.MetricsWarmupPeriod)/numObsPerChunk,'g-.');
legend(h,ce.Properties.VariableNames)
xlabel('Iteration')

プロットは updateMetricsAndFit について次のことを示しています。

  • β1 をインクリメンタル学習のすべての反復であてはめる

  • メトリクスのウォームアップ期間後にのみパフォーマンス メトリクスを計算する

  • 各反復中に累積メトリクスを計算する

  • ウィンドウ メトリクスを 500 個の観測値の処理後に計算する

fitrlinear を使用して線形回帰モデルに学習させ、それをインクリメンタル学習器に変換し、そのパフォーマンスを追跡し、ストリーミング データ チャンクにあてはめます。学習オプションを従来式からインクリメンタル学習に引き継ぎます。

データの読み込みと前処理

2015 年のニューヨーク市住宅データ セットを読み込み、データをシャッフルします。このデータの詳細については、NYC Open Data を参照してください。

load NYCHousing2015
rng(1); % For reproducibility
n = size(NYCHousing2015,1);
idxshuff = randsample(n,n);
NYCHousing2015 = NYCHousing2015(idxshuff,:);

マンハッタンから収集されたデータ (BOROUGH = 1) が、品質を 2 倍にする新しい方法を使用して収集されたとします。マンハッタンから収集した観測値に 2 を割り当て、その他すべての観測値に 1 を割り当てる重み変数を作成します。

n = size(NYCHousing2015,1);
NYCHousing2015.W = ones(n,1) + (NYCHousing2015.BOROUGH == 1);

テーブルから応答変数 SALEPRICE を抽出します。数値安定性を得るために、SALEPRICE1e6 の尺度でスケールします。

Y = NYCHousing2015.SALEPRICE/1e6;
NYCHousing2015.SALEPRICE = [];

カテゴリカル予測子からダミー変数メトリクスを作成します。

catvars = ["BOROUGH" "BUILDINGCLASSCATEGORY" "NEIGHBORHOOD"];
dumvarstbl = varfun(@(x)dummyvar(categorical(x)),NYCHousing2015,...
    'InputVariables',catvars);
dumvarmat = table2array(dumvarstbl);
NYCHousing2015(:,catvars) = [];

テーブル内の他のすべての数値変数を売価の線形予測子として扱います。ダミー変数の行列を予測子データの残りに連結します。結果の予測子行列を転置します。

idxnum = varfun(@isnumeric,NYCHousing2015,'OutputFormat','uniform');
X = [dumvarmat NYCHousing2015{:,idxnum}]';

線形回帰モデルの学習

線形回帰モデルを、データの半分から取った無作為標本にあてはめます。

idxtt = randsample([true false],n,true);
TTMdl = fitrlinear(X(:,idxtt),Y(idxtt),'ObservationsIn','columns',...
    'Weights',NYCHousing2015.W(idxtt))
TTMdl = 
  RegressionLinear
         ResponseName: 'Y'
    ResponseTransform: 'none'
                 Beta: [313×1 double]
                 Bias: 0.1116
               Lambda: 2.1977e-05
              Learner: 'svm'


  Properties, Methods

TTMdl は従来式の学習済み線形回帰モデルを表す RegressionLinear モデル オブジェクトです。

学習済みモデルの変換

従来式の学習済み線形回帰モデルを、インクリメンタル学習用の線形回帰モデルに変換します。

IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl = 
  incrementalRegressionLinear

               IsWarm: 1
              Metrics: [1×2 table]
    ResponseTransform: 'none'
                 Beta: [313×1 double]
                 Bias: 0.1116
              Learner: 'svm'


  Properties, Methods

パフォーマンス メトリクスの追跡とモデルのあてはめ

関数 updateMetricsfit を使用して、残りのデータにおけるインクリメンタル学習を実行します。500 個の観測値を一度に処理して、データ ストリームをシミュレートします。各反復で次を行います。

  1. updateMetricsAndFit を呼び出し、観測値の入力チャンクを所与として、モデルのイプシロン不感応損失の累積とウィンドウを更新し、モデルをデータにあてはめます。前のインクリメンタル モデルを上書きして、Metrics プロパティ内の損失を更新します。観測値の向きを列方向に指定し、観測値の重みを指定します。

  2. 損失および最後に推定された係数 β313 を保存します。

% Preallocation
idxil = ~idxtt;
nil = sum(idxil);
numObsPerChunk = 500;
nchunk = floor(nil/numObsPerChunk);
ei = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta313 = [IncrementalMdl.Beta(end); zeros(nchunk,1)];
Xil = X(:,idxil);
Yil = Y(idxil);
Wil = NYCHousing2015.W(idxil);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    IncrementalMdl = updateMetricsAndFit(IncrementalMdl,Xil(:,idx),Yil(idx),...
        'ObservationsIn','columns','Weights',Wil(idx));
    ei{j,:} = IncrementalMdl.Metrics{"EpsilonInsensitiveLoss",:};
    beta313(j + 1) = IncrementalMdl.Beta(end);
end

IncrementalMdl は、ストリーム内のすべてのデータを適用させた incrementalRegressionLinear モデル オブジェクトです。

あるいは、updateMetricsAndFit を使用して、新しいデータ チャンクに対するモデルのパフォーマンス メトリクスを更新し、モデルをデータにあてはめることもできます。

パフォーマンス メトリクスと推定された係数 β313 のトレース プロットをプロットします。

figure;
subplot(2,1,1)
h = plot(ei.Variables);
xlim([0 nchunk]);
ylabel('Epsilon Insensitive Loss')
legend(h,ei.Properties.VariableNames)
subplot(2,1,2)
plot(beta313)
ylabel('\beta_{313}')
xlim([0 nchunk]);
xlabel('Iteration')

累積の損失は反復 (500 個の観測値のチャンク) ごとに徐々に変化しますが、ウィンドウの損失は不連続です。メトリクス ウィンドウの既定値は 200 なので、updateMetrics は 500 個の観測値のチャンクごとに最新の 200 個の観測値に基づいて性能を測定します。

β313 は変動した後、fit が観測値のチャンクを処理するたびに即座に平坦になります。

入力引数

すべて折りたたむ

パフォーマンスの測定とデータへのあてはめが行われるインクリメンタル学習モデル。incrementalClassificationLinear または incrementalRegressionLinear モデル オブジェクトとして指定するか、直接作成するか、または関数 incrementalLearner を使用して、サポートされている従来式の学習済み機械学習モデルを変換して作成します。詳細については、学習問題に対応するリファレンス ページを参照してください。

Mdl.IsWarmfalse の場合、updateMetricsAndFit はモデルのパフォーマンスを追跡しません。詳細は、アルゴリズムを参照してください。

モデルのパフォーマンスを測定して、モデルをあてはめる予測子データのチャンク。n 個の観測値および Mdl.NumPredictors 予測子変数の浮動小数点行列として指定します。名前と値のペアの引数 'ObservationsIn' の値は、変数と観測値の方向を決定します。

観測値のラベル Y の長さと X の観測値の数は同じでなければなりません。Y(j)X 内の観測値 j (行または列) のラベルです。

メモ

  • Mdl.NumPredictors = 0 の場合、updateMetricsAndFitX から予測子の数を推測し、出力モデルの対応するプロパティを設定します。それ以外の場合、ストリーミング データ内の予測子変数の数が Mdl.NumPredictors から変化すると、updateMetricsAndFit がエラーを生成します。

  • updateMetricsAndFit は、浮動小数点の入力予測子データのみをサポートしています。入力モデル Mdl がカテゴリカル データにあてはめられた、変換された従来型の学習済みモデルを表す場合、dummyvar を使用して、各カテゴリカル変数をダミー変数で構成される数値行列に変換し、すべてのダミー変数行列とその他の数値予測子を連結します。詳細は、ダミー変数を参照してください。

データ型: single | double

モデルのパフォーマンスを測定して、モデルをあてはめるラベルのチャンク。分類問題では、categorical 配列、文字配列、string 配列、logical ベクトル、浮動小数点ベクトル、または文字ベクトルの cell 配列として指定します。回帰問題では、浮動小数点ベクトルとして指定します。

観測値のラベル Y の長さと X の観測値の数は同じでなければなりません。Y(j)X 内の観測値 j (行または列) のラベルです。

分類問題では次のようになります。

  • updateMetricsAndFit はバイナリ分類のみをサポートします。

  • 入力モデル MdlClassNames プロパティが空以外の場合は、次の条件が適用されます。

    • YMdl.ClassNames のメンバーではないラベルを含む場合、updateMetricsAndFit はエラーを生成します。

    • YMdl.ClassNames のデータ型は同じでなければなりません。

データ型: char | string | cell | categorical | logical | single | double

メモ

  • 観測値 (予測子またはラベル) または重み Weight が少なくとも 1 つの欠損 (NaN) 値を含む場合、updateMetricsAndFit はその観測値を無視します。したがって、updateMetricsAndFit は n 個よりも少ない観測値を使用してモデル パフォーマンスを計算します。

  • チャンク サイズ n と確率的勾配降下 (SGD) ハイパーパラメーター バッチ サイズ (Mdl.BatchSize) は異なる値とすることができます。n < Mdl.BatchSize の場合、updateMetricsAndFit は SGD の適用時に n 個の利用可能な観測値を使用します。

名前と値のペアの引数

オプションの Name,Value 引数のコンマ区切りペアを指定します。Name は引数名で、Value は対応する値です。Name は引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueN のように、複数の名前と値のペアの引数を、任意の順番で指定できます。

例: 'ObservationsIn','columns','Weights',W は、予測子行列の列が観測値に対応すること、およびインクリメンタル学習中に適用する観測値の重みがベクトル W に格納されていることを指定します。

予測子データにおける観測値の次元。'ObservationsIn''columns' または 'rows' から構成されるコンマ区切りのペアとして指定します。

観測値の重みのチャンク。'Weights' と正の値の浮動小数点ベクトルで構成されるコンマ区切りのペアとして指定します。updateMetricsAndFit は、Weights 内の対応する値を使用して X 内の観測値に重みを付けます。Weights のサイズは X 内の観測値の数 n と同じでなければなりません。

既定では Weightsones(n,1) です。

正規化方式を含む詳細については、観測値の重みを参照してください。

データ型: double | single

出力引数

すべて折りたたむ

更新されたインクリメンタル学習モデル。incrementalClassificationLinear または incrementalRegressionLinear の入力モデル Mdl と同じデータ型のインクリメンタル学習モデル オブジェクトとして返されます。

updateMetricsAndFit を呼び出すと、次の条件が適用されます。

  • モデルがウォームでない場合、updateMetricsAndFit はパフォーマンス メトリクスを計算しません。その結果、MdlMetrics プロパティは、NaN 値で構成された状態を完全に維持します。詳細は、アルゴリズムを参照してください。

  • Mdl.EstimationPeriod > 0 の場合、インクリメンタル近似関数 updateMetricsAndFit および fit は、それらに渡された最初の Mdl.EstimationPeriod 観測値を使用してハイパーパラメーターを推定します。これらの関数がそのデータへの入力モデルの学習を行うことはありません。ただし、n 個の観測値の入力チャンクが推定期間 m で残された観測値の数以上である場合、updateMetricsAndFit は最初の n – m 個の観測値を使用してハイパーパラメーターを推定し、残りの m 個の観測値に入力モデルをあてはめます。したがって、ソフトウェアは、Beta プロパティ、Bias プロパティ、ハイパーパラメーター プロパティ、および NumTrainingObservations などの記録保存プロパティを更新します。

分類問題の場合、入力モデル MdlClassNames プロパティが空の配列であれば、updateMetricsAndFit は出力モデル MdlClassNames プロパティを unique(Y) に設定します。

アルゴリズム

すべて折りたたむ

パフォーマンス メトリクス

  • updateMetricsAndFit は、インクリメンタル モデルが "ウォーム" (IsWarm プロパティが true) のときに、Mdl.Metrics のテーブルの行ラベルによって指定され、新しいデータから得られるモデルのパフォーマンス メトリクスのみを追跡します。インクリメンタル モデルは、fit がインクリメンタル モデルを Mdl.MetricsWarmupPeriod の観測値 ("メトリクスのウォームアップ期間") にあてはめた後、ウォームになります。

    Mdl.EstimationPeriod > 0 の場合、関数はモデルをデータにあてはめる前にハイパーパラメーターを推定します。そのため、関数は、モデルがメトリクスのウォームアップ期間を開始する前に EstimationPeriod の観測値を追加で処理しなければなりません。

  • インクリメンタル モデルの Metrics プロパティは、各パフォーマンス メトリクスの 2 つの形式を table の変数 (列) Cumulative および Window として格納し、個々のメトリクスが行に沿うようにします。インクリメンタル モデルがウォームになると、updateMetrics は次の頻度でメトリクスを更新します。

    • Cumulative — 関数は、モデルの性能追跡の開始以降の累積メトリクスを計算します。関数は、関数が呼び出されるたびにメトリクスを更新し、提供されたデータ セット全体に基づいて計算を行います。

    • Window — 関数は、名前と値のペアの引数 Mdl.MetricsWindowSize によって決定されたウィンドウ内のすべての観測値に基づいてメトリクスを計算します。Mdl.MetricsWindowSize によってソフトウェアが Window メトリクスを更新する頻度も決まります。たとえば、Mdl.MetricsWindowSize が 20 の場合、関数は提供されたデータの最後の 20 個の観測値に基づいてメトリクスを計算します (X((end - 20 + 1):end,:) および Y((end - 20 + 1):end))。

      ウィンドウ内のパフォーマンス メトリクスを追跡するインクリメンタル関数は、次のプロセスを使用します。

      1. 指定された各メトリクスについて、長さ Mdl.MetricsWindowSize のバッファーおよび観測値の重みのバッファーを保存します。

      2. 入力観測値のバッチに基づくモデル性能をメトリクス バッファーの要素に入力し、対応する観測値の重みを重みバッファーに格納します。

      3. バッファーがいっぱいになると、Mdl.Metrics.Window をメトリクス ウィンドウの性能の加重平均で上書きします。関数が観測値のバッチを処理するときにバッファーがあふれる場合、最新の入力観測値 Mdl.MetricsWindowSize がバッファーに入り、最も古い観測値がバッファーから削除されます。たとえば、Mdl.MetricsWindowSize が 20 で、メトリクス バッファーには前に処理されたバッチからの 10 個の値が存在し、15 個の値が入力されるとします。長さ 20 のウィンドウを構成するため、関数は 15 個の入力観測値からの測定値と前のバッチからの最新の 5 個の測定値を使用します。

観測値の重み

分類問題では、クラスの事前確率分布が既知 (Mdl.PriorNaN 値で構成されない) の場合、updateMetricsAndFit は、観測値の重みを正規化して、それぞれのクラスの事前クラス確率の合計になるようにします。このアクションは、観測値の重みが既定でそれぞれのクラスの事前確率であることを前提としています。

回帰問題の場合、またはクラスの事前確率分布が未知である場合、ソフトウェアは、updateMetricsAndFit が呼び出されるたびに、指定された観測値の重みを正規化して、合計が 1 になるようにします。

参照

[1] Bifet, Albert, Ricard Gavaldá, Geoffrey Holmes, and Bernhard Pfahringer. Machine Learning for Data Streams with Practical Example in MOA. Cambridge, MA: The MIT Press, 2007.

R2020b で導入