updateMetrics
説明
ストリーミング データが与えられると、updateMetrics は、インクリメンタル学習用の構成済みのマルチクラス誤り訂正出力符号 (ECOC) 分類モデル (incrementalClassificationECOC オブジェクト) のパフォーマンスを測定します。updateMetrics はパフォーマンス メトリクスを出力モデルに格納します。
updateMetrics では柔軟なインクリメンタル学習が可能です。この関数を呼び出してデータの入力チャンクでモデルのパフォーマンス メトリクスを更新した後、モデルにデータを学習させる前に他のアクションを実行できます。たとえば、データのチャンクでのパフォーマンスに基づいて、モデルに学習させる必要があるかどうかを決定できます。また、関数 updateMetricsAndFit を使用すると、データが到達したときにモデルのパフォーマンス メトリクスの更新とモデルの学習の両方を 1 回の呼び出しで実行できます。
指定したデータのバッチにおけるモデルのパフォーマンスを測定するには、代わりに loss を呼び出します。
例
fitcecoc を使用して ECOC 分類モデルに学習させ、それをインクリメンタル学習器に変換し、その性能をストリーミング データまで追跡します。
データの読み込みと前処理
人の行動のデータ セットを読み込みます。データをランダムにシャッフルします。
load humanactivity rng(1) % For reproducibility n = numel(actid); idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
データ セットの詳細については、コマンド ラインで Description を入力してください。
ECOC 分類モデルの学習
ECOC 分類モデルをデータの半分の無作為標本に当てはめます。
idxtt = randsample([true false],n,true); TTMdl = fitcecoc(X(idxtt,:),Y(idxtt))
TTMdl =
ClassificationECOC
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
BinaryLearners: {10×1 cell}
CodingName: 'onevsone'
Properties, Methods
TTMdl は、従来式の学習済みモデルを表す ClassificationECOC モデル オブジェクトです。
学習済みモデルの変換
従来式の学習済み分類モデルをインクリメンタル学習用のモデルに変換します。
IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl =
incrementalClassificationECOC
IsWarm: 1
Metrics: [1×2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
BinaryLearners: {10×1 cell}
CodingName: 'onevsone'
Decoding: 'lossweighted'
Properties, Methods
IncrementalMdl は incrementalClassificationECOC モデルです。モデルの表示で、モデルがウォームである (IsWarm が 1) ことが示されています。そのため、updateMetrics は、与えられたデータでのモデルのパフォーマンス メトリクスを追跡できます。
パフォーマンス メトリクスの追跡
関数 updateMetrics を使用して、残りのデータでのモデル パフォーマンスを追跡します。50 個の観測値を一度に処理して、データ ストリームをシミュレートします。各反復で次を行います。
updateMetricsを呼び出し、観測値の入力チャンクを所与として、モデルの分類誤差の累積とウィンドウを更新します。前のインクリメンタル モデルを上書きして、Metricsプロパティを更新します。関数がモデルをデータ チャンクに当てはめないことに注意してください。チャンクはモデルに対して "新しい" データです。分類誤差と 1 番目のバイナリ学習器の 1 番目のモデル係数 を保存します。
% Preallocation idxil = ~idxtt; nil = sum(idxil); numObsPerChunk = 50; nchunk = floor(nil/numObsPerChunk); mc = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]); beta11 = [IncrementalMdl.BinaryLearners{1}.Beta(1); zeros(nchunk+1,1)]; Xil = X(idxil,:); Yil = Y(idxil); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetrics(IncrementalMdl,Xil(idx,:),Yil(idx)); mc{j,:} = IncrementalMdl.Metrics{"ClassificationError",:}; beta11(j+1) = IncrementalMdl.BinaryLearners{1}.Beta(1); end
IncrementalMdl は、モデル パフォーマンスをデータ ストリーム内の観測値まで追跡した incrementalClassificationECOC モデル オブジェクトです。
パフォーマンス メトリクスと推定された係数 のトレース プロットを別々のタイルにプロットします。
t = tiledlayout(2,1); nexttile plot(mc.Variables) xlim([0 nchunk]) ylabel("Classification Error") legend(mc.Properties.VariableNames) nexttile plot(beta11) ylabel("\beta_{11}") xlim([0 nchunk]); xlabel(t,"Iteration")
累積の損失は安定していますが、ウィンドウの損失には学習全体を通じて急な変動があります。updateMetrics がモデルをデータに当てはめないため、 は変更されません。
fitcecoc を使用して ECOC 分類モデルに学習させ、それをインクリメンタル学習器に変換し、その性能をストリーミング データで追跡してからモデルをデータに当てはめます。インクリメンタル学習関数用に、観測値を列に配置し、観測値の重みを指定します。
データの読み込みと前処理
人の行動のデータ セットを読み込みます。データをランダムにシャッフルします。
load humanactivity rng(1); % For reproducibility n = numel(actid); idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
データ セットの詳細については、コマンド ラインで Description を入力してください。
静止している被験者 (Y <= 2) のデータが、移動している被験者のデータの倍の品質であると仮定します。静止している被験者の観測値に重み 2 を割り当て、移動している被験者の観測値に重み 1 を割り当てる重み変数を作成します。
W = ones(n,1) + (Y <=2);
ECOC 分類モデルの学習
ECOC 分類モデルをデータの半分の無作為標本に当てはめます。観測値の重みを指定します。
idxtt = randsample([true false],n,true); TTMdl = fitcecoc(X(idxtt,:),Y(idxtt),Weights=W(idxtt))
TTMdl =
ClassificationECOC
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
BinaryLearners: {10×1 cell}
CodingName: 'onevsone'
Properties, Methods
TTMdl は従来式の学習済み ECOC 分類モデルを表す ClassificationECOC モデル オブジェクトです。
学習済みモデルの変換
従来式の学習済みモデルをインクリメンタル学習用のモデルに変換します。
IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl =
incrementalClassificationECOC
IsWarm: 1
Metrics: [1×2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
BinaryLearners: {10×1 cell}
CodingName: 'onevsone'
Decoding: 'lossweighted'
Properties, Methods
IncrementalMdl は incrementalClassificationECOC モデルです。クラス名が IncrementalMdl.ClassNames で指定されているため、インクリメンタル学習で見つかるラベルは IncrementalMdl.ClassNames のいずれかでなければなりません。
パフォーマンス メトリクスの追跡とモデルの当てはめの個別の実行
関数 updateMetrics および fit を使用して、残りのデータに対してインクリメンタル学習を実行します。インクリメンタル学習用に、予測子データの観測値を列に配置します。各反復で次を行います。
50 個の観測値を一度に処理して、データ ストリームをシミュレートします。
updateMetricsを呼び出し、観測値の入力チャンクを所与として、モデルの分類誤差の累積とウィンドウを更新します。前のインクリメンタル モデルを上書きして、Metricsプロパティ内の損失を更新します。関数がモデルをデータ チャンクに当てはめないことに注意してください。チャンクはモデルに対して "新しい" データです。観測値の向きを列方向に指定し、観測値の重みを指定します。分類誤差を保存します。
fitを呼び出して、観測値の入力チャンクにモデルを当てはめます。前のインクリメンタル モデルを上書きして、モデル パラメーターを更新します。観測値の向きを列方向に指定し、観測値の重みを指定します。
% Preallocation idxil = ~idxtt; nil = sum(idxil); numObsPerChunk = 50; nchunk = floor(nil/numObsPerChunk); mc = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]); Xil = X(idxil,:)'; Yil = Y(idxil); Wil = W(idxil); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetrics(IncrementalMdl,Xil(:,idx),Yil(idx), ... Weights=Wil(idx),ObservationsIn="columns"); mc{j,:} = IncrementalMdl.Metrics{"ClassificationError",:}; IncrementalMdl = fit(IncrementalMdl,Xil(:,idx),Yil(idx), ... Weights=Wil(idx),ObservationsIn="columns"); end
IncrementalMdl は、ストリーム内のすべてのデータで学習させた incrementalClassificationECOC モデル オブジェクトです。
あるいは、updateMetricsAndFit を使用して、新しいデータ チャンクに対するモデルのパフォーマンス メトリクスを更新し、モデルをデータに当てはめることもできます。
パフォーマンス メトリクスのトレース プロットをプロットします。
plot(mc.Variables) xlim([0 nchunk]) legend(mc.Properties.VariableNames) ylabel("Classification Error") xlabel("Iteration")
累積の損失は徐々に安定しますが、ウィンドウの損失には学習全体を通じて急な変動があります。
ECOC 分類モデルのパフォーマンスが低下した場合にのみ、そのモデルに対してインクリメンタル学習を行います。
人の行動のデータ セットを読み込みます。データをランダムにシャッフルします。
load humanactivity n = numel(actid); rng(1) % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
データ セットの詳細については、コマンド ラインで Description を入力してください。
予測される最大クラス数が 5 で、メトリクス ウィンドウ サイズが 1000 となるように、インクリメンタル学習用の ECOC 分類モデルを構成します。モデルを最初の 1000 個の観測値に当てはめて updateMetrics 用にモデルを準備します。
Mdl = incrementalClassificationECOC(MaxNumClasses=5,MetricsWindowSize=1000); initobs = 1000; Mdl = fit(Mdl,X(1:initobs,:),Y(1:initobs));
Mdl は incrementalClassificationECOC モデル オブジェクトです。
モデルのプロパティを照会して、モデルがウォームであるかどうかを調べます。
isWarm = Mdl.IsWarm
isWarm = logical
1
Mdl.IsWarm が 1 であるため、Mdl はウォームです。
条件付きの当てはめを行い、インクリメンタル学習を実行します。各反復でこの手順に従います。
100 個の観測値のチャンクを一度に処理することで、データ ストリームをシミュレートします。
入力データ チャンクでモデルのパフォーマンスを更新します。
誤分類誤差率が 0.05 を超える場合にのみ、モデルをデータ チャンクに当てはめます。
パフォーマンスと当てはめを追跡するときは、前のインクリメンタル モデルを上書きします。
誤分類誤差率と 1 番目のバイナリ学習器 の 1 番目のモデル係数を保存し、学習中にそれらがどのように進化するかを確認します。
fitがモデルに学習させるタイミングを追跡します。
% Preallocation numObsPerChunk = 100; nchunk = floor((n - initobs)/numObsPerChunk); beta11 = zeros(nchunk,1); ce = array2table(nan(nchunk,2),VariableNames=["Cumulative","Window"]); trained = false(nchunk,1); % Incremental fitting for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1 + initobs); iend = min(n,numObsPerChunk*j + initobs); idx = ibegin:iend; Mdl = updateMetrics(Mdl,X(idx,:),Y(idx)); ce{j,:} = Mdl.Metrics{"ClassificationError",:}; if ce{j,2} > 0.05 Mdl = fit(Mdl,X(idx,:),Y(idx)); trained(j) = true; end beta11(j) = Mdl.BinaryLearners{1}.Beta(1); end
Mdl は、ストリーム内のすべてのデータで学習させた incrementalClassificationECOC モデル オブジェクトです。
モデルのパフォーマンスと が学習中にどのように進化するかを確認するには、それらを別々のタイルにプロットします。
t = tiledlayout(2,1); nexttile plot(beta11) hold on plot(find(trained),beta11(trained),"r.") xlim([0 nchunk]) ylabel("\beta_{11}") legend("\beta_{11}","Training occurs",Location="best") hold off nexttile plot(ce.Variables) yline(0.05,"--") xlim([0 nchunk]) ylabel("Misclassification Error Rate") legend(ce.Properties.VariableNames,Location="best") xlabel(t,"Iteration")
のトレース プロットは、前の観測ウィンドウ内における損失が最大で 0.05 である定数値の期間を示します。
クラスの最大数を指定してインクリメンタル ECOC 学習器を準備します。モデルのパフォーマンスとモデル内の各バイナリ学習器のパフォーマンスを追跡するように構成します。
incrementalClassificationECOC を呼び出してインクリメンタル学習用の ECOC モデルを作成します。データ内の予測される最大クラス数を 5 と指定し、モデル内のバイナリ学習器のパフォーマンス メトリクスを更新するように指定します。
Mdl = incrementalClassificationECOC(MaxNumClasses=5,UpdateBinaryLearnerMetrics=true);
Mdl は incrementalClassificationECOC モデルです。そのプロパティはすべて読み取り専用です。
符号化設計行列を表示します。
Mdl.CodingMatrix
ans = 5×10
1 1 1 1 0 0 0 0 0 0
-1 0 0 0 1 1 1 0 0 0
0 -1 0 0 -1 0 0 1 1 0
0 0 -1 0 0 -1 0 -1 0 1
0 0 0 -1 0 0 -1 0 -1 -1
各行はクラスに対応し、各列はバイナリ学習器に対応します。たとえば、1 番目のバイナリ学習器はクラス 1 と 2、4 番目のバイナリ学習器はクラス 1 と 5 に対応しており、どちらの学習器でもクラス 1 を陽性クラスと仮定しています。
モデルのプロパティを照会して、モデルがウォームであるかどうかを調べます。
isWarm = Mdl.IsWarm
isWarm = logical
0
Mdl.IsWarm が 0 であるため、Mdl はウォームではありません。
メトリクスのウォームアップ期間を表示して、モデルのパフォーマンスを測定する前にインクリメンタル近似関数 (fit など) で処理しなければならない観測値の数を調べます。
numObsBeforeMetrics = Mdl.MetricsWarmupPeriod
numObsBeforeMetrics = 1000
人の行動のデータ セットを読み込みます。データをランダムにシャッフルします。
load humanactivity n = numel(actid); rng(1) % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
応答ベクトル actid には行動 ID が整数で格納されます。1 ～ 5 はそれぞれ、座る、立つ、歩く、走る、踊る、を表します。データ セットの詳細については、コマンド ラインで Description を入力してください。
各反復で次のアクションを実行してインクリメンタル学習を実装します。
50 個の観測値のチャンクを処理して、データ ストリームをシミュレートします。
updateMetricsを使用して入力チャンクでモデルのパフォーマンス メトリクスを測定し、入力モデルを上書き。モデルを入力チャンクに当てはめ、入力モデルを上書き。
1 番目のバイナリ学習器の 1 番目のモデル係数 を保存。
モデルとそのバイナリ学習器の誤分類誤差率を保存。
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); ce = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]); beta11 = zeros(nchunk,1); numBinaryLearners = length(Mdl.BinaryLearners); BinaryLearnerIsWarm = zeros(numBinaryLearners,1); numtrainobs = zeros(nchunk,numBinaryLearners); blMetrics = cell(numBinaryLearners,1); for k = 1:numBinaryLearners blMetrics{k} = array2table(zeros(nchunk,2),VariableNames=["Cumulative","Window"]); end % Incremental learning for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetrics(Mdl,X(idx,:),Y(idx)); ce{j,:} = Mdl.Metrics{"ClassificationError",:}; for k = 1:numBinaryLearners blMetrics{k}{j,:} = Mdl.BinaryLearners{k}.Metrics{"ClassificationError",:}; end Mdl = fit(Mdl,X(idx,:),Y(idx)); beta11(j) = Mdl.BinaryLearners{1}.Beta(1); for k = 1:numBinaryLearners numtrainobs(j,k) = Mdl.BinaryLearners{k}.NumTrainingObservations; if Mdl.BinaryLearners{k}.IsWarm == false BinaryLearnerIsWarm(k) = j; end end end
Mdl は、ストリーム内のすべてのデータで学習させた incrementalClassificationECOC モデル オブジェクトです。
パフォーマンス メトリクスと がインクリメンタル学習中にどのように進化するかを確認するには、それらを別々のタイルにプロットします。
figure t = tiledlayout(2,1); nexttile plot(beta11) ylabel("\beta_{11}") xlim([0 nchunk]) nexttile plot(ce.Variables) ylabel("ClassificationError") xline(numObsBeforeMetrics/numObsPerChunk,"--") xlim([0 nchunk]) legend(ce.Properties.VariableNames) xlabel(t,"Iteration")
mdlIsWarm = numObsBeforeMetrics/numObsPerChunk
mdlIsWarm = 20
プロットは、fit によるデータへのモデルの当てはめは常に実行され、updateMetrics はメトリクスのウォームアップ期間 (20 チャンク) が経過するまでは分類誤差を追跡しないことを示しています。
クラス 3 に対応するバイナリ学習器のパフォーマンス メトリクスをプロットします。
bl = find(Mdl.CodingMatrix(3,:)); % Find binary learners for class 3 figure t = tiledlayout(length(bl),1); ax = zeros(length(bl),1); for i = 1 : length(bl) ax(i) = nexttile; plot(blMetrics{bl(i)}.Variables) xline(numObsBeforeMetrics/numObsPerChunk,"--") xline(BinaryLearnerIsWarm(1),":") xlim([0 nchunk]) positiveClass = find(Mdl.CodingMatrix(:,bl(i))==1); negativeClass = find(Mdl.CodingMatrix(:,bl(i))==-1); title(join(["Binary Learner for classes ",positiveClass," and ",negativeClass])) end legend(ax(1),blMetrics{bl(1)}.Properties.VariableNames,Location="best") linkaxes(ax) ylim([0,0.02]) ylabel(t,"ClassificationError") xlabel(t,"Iteration")
BinaryLearnerIsWarm(bl)
ans = 4×1
42
41
51
60
バイナリ学習器は、その学習器が 1000 個の観測値に当てはめられた後にウォームになります。バイナリ学習器ではその学習器の陽性クラスまたは陰性クラスに対応する観測値しか使用しないため、各バイナリ学習器が異なる学習反復数でウォームになります。また、updateMetrics はバイナリ学習器の Window メトリクスを非同期に更新します。
1 つ目のプロットは、座る (クラス 1) と歩く (クラス 3) のどちらの活動かを判別するバイナリ学習器について、分類誤差 (または誤分類率) が 0 であることを示しています。次の 3 つのプロットは、歩く (クラス 3) を立つ (クラス 2)、走る (クラス 4)、および踊る (クラス 5) のそれぞれと区別する 3 つのバイナリ学習器の誤分類率を示しています。これらの 3 つのバイナリ学習器は、1 つ目のバイナリ学習器よりも誤分類率が高くなっています。
入力引数
名前と値の引数
出力引数
ヒント
従来式の学習とは異なり、インクリメンタル学習には個別のテスト (ホールドアウト) セットが存在しない場合もあります。そのため、データの各入力チャンクをテスト セットとして扱うには、インクリメンタル モデルと各入力チャンクを、
fitを使用して同じデータでモデルに学習させる前にupdateMetricsに渡します。
アルゴリズム
拡張機能
バージョン履歴
R2022a で導入
