fitensemble
分類および回帰のアンサンブル学習器の当てはめ
構文
説明
fitensemble は、決定木学習器または判別分析分類器のブースティングまたはバギングを行うことができます。また、KNN のランダム部分空間アンサンブルまたは判別分析分類器に学習をさせることもできます。
よりシンプルなインターフェイスでアンサンブル分類およびアンサンブル回帰を当てはめるには、それぞれ fitcensemble および fitrensemble を代わりに使用します。また、fitcensemble と fitrensemble にはベイズ最適化のためのオプションもあります。
Mdl = fitensemble(___,Name,Value)Name,Value ペア引数で指定された追加オプションと前の構文のいずれかを使用して、アンサンブルに学習をさせます。たとえば、クラスの順序、10 分割交差検証の実施、学習率を指定できます。
例
学習されたブースティング アンサンブル分類の決定木について、再代入損失を推定します。
ionosphere データ セットを読み込みます。
load ionosphere;AdaBoost、学習サイクル 100 およびデータ セット全体を使用して、決定木アンサンブルを学習させます。
ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree');
ClassTreeEns は学習させた ClassificationEnsemble アンサンブル分類器です。
累積再代入損失 (学習データのラベルの累積誤分類誤差) を特定します。
rsLoss = resubLoss(ClassTreeEns,'Mode','Cumulative');
rsLoss は 100 行 1 列のベクトルです。要素 k には最初の k 学習サイクルの後の再代入損失が格納されます。
学習サイクル数の上に累積再代入損失をプロットします。
plot(rsLoss); xlabel('Number of Learning Cycles'); ylabel('Resubstitution Loss');
一般的に、学習させたアンサンブル分類の決定木の数が増加すると、再代入損失は減少します。
再代入損失の減少は、アンサンブル学習が十分に行われていることを示す可能性もあります。ただし、この減少からアンサンブルの予測力を推定することはできません。アンサンブルの予測力を測定するには、次の方法で汎化誤差を推定します。
データを学習セットと交差検証セットに無作為に分割します。この操作を行うには、
fitensembleを使用してアンサンブルを学習させる際に'holdout',holdoutProportionを指定します。学習させたアンサンブルを
kfoldLossに渡します。これにより、汎化誤差が推定されます。
学習およびブースティング回帰木のアンサンブルを使用して、自動車の燃費を予測します。予測子として気筒数、気筒ごとの排気量、馬力、重量を選択します。次に、予測子の数を減らしてアンサンブルに学習をさせ、初めのアンサンブルに対して標本内予測精度を比較します。
carsmall データ セットを読み込みます。学習データを table に格納します。
load carsmall
Tbl = table(Cylinders,Displacement,Horsepower,Weight,MPG);代理分岐を使用する回帰木テンプレートを指定し、NaN 値が存在する場合の予測精度を向上させます。
t = templateTree('Surrogate','On');
LSBoost と 100 学習サイクルを使用して、アンサンブル回帰木を学習させます。
Mdl1 = fitensemble(Tbl,'MPG','LSBoost',100,t);
Mdl1 は学習させた RegressionEnsemble アンサンブル回帰です。MPG は MATLAB® ワークスペースの変数なので、次のように入力すると同じ結果を得ることができます。
Mdl1 = fitensemble(Tbl,MPG,'LSBoost',100,t);
学習させたアンサンブル回帰を使用して、排気量が 200 立方インチ、150 馬力、重量 3,000 lbs の 4 気筒搭載車の燃費を予測します。
predMPG = predict(Mdl1,[4 200 150 3000])
predMPG = 22.8462
この仕様の自動車の平均燃費は 21.78 mpg です。
Displacement を除く Tbl 内の予測子をすべて使用して、新しいアンサンブルに学習をさせます。
formula = 'MPG ~ Cylinders + Horsepower + Weight'; Mdl2 = fitensemble(Tbl,formula,'LSBoost',100,t);
Mdl1 と Mdl2 の再代入 MSE を比較します。
mse1 = resubLoss(Mdl1)
mse1 = 6.4721
mse2 = resubLoss(Mdl2)
mse2 = 7.8599
すべての予測子に対して学習を行ったアンサンブルの方が、標本内 MSE が小さくなります。
決定木の、学習されたブースティング アンサンブル分類の汎化誤差を推定します。
ionosphere データ セットを読み込みます。
load ionosphere;AdaBoostM1、学習サイクル 100、無作為に選択された半分のデータを使用して、決定木アンサンブルを学習させます。残りの半分を使用してアルゴリズムが検証されます。
rng(2); % For reproducibility ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree',... 'Holdout',0.5);
ClassTreeEns は学習させた ClassificationEnsemble アンサンブル分類器です。
累積汎化誤差 (検証データのラベルの累積誤分類誤差) を特定します。
genError = kfoldLoss(ClassTreeEns,'Mode','Cumulative');
genError は 100 行 1 列のベクトルです。要素 k には最初の k 学習サイクルの後の汎化誤差が格納されています。
学習サイクル数の上に汎化誤差をプロットします。
plot(genError); xlabel('Number of Learning Cycles'); ylabel('Generalization Error');
25 件の弱学習器がアンサンブル分類器を構成している場合、累積汎化誤差は約 7% まで低下します。
決定木のアンサンブルにおける木の深さを制御できます。また、名前と値のペアのパラメーター MaxNumSplits、MinLeafSize または MinParentSize を使用すると、決定木バイナリ学習器が含まれている ECOC モデルにおける木の深さも制御できます。
決定木をバギングする場合、既定の設定では
fitensembleは深い決定木を成長させます。モデルの複雑さや計算時間の削減のために、より浅い木を成長させることもできます。決定木をブースティングする場合、既定の設定では
fitensembleは切り株 (1 つの分割がある木) を成長させます。木を深くすると、精度を向上させることができます。
carsmall データ セットを読み込みます。変数 Acceleration、Displacement、Horsepower および Weight を予測子として、MPG を応答として指定します。
load carsmall
X = [Acceleration Displacement Horsepower Weight];
Y = MPG;回帰木をブースティングする場合、木の深さの制御に関する既定値は次のとおりです。
MaxNumSplitsは1。このオプションは切り株を成長させます。MinLeafSizeは5MinParentSizeは10
最適な分割数は次により求めます。
一連のアンサンブルを学習させます。以後のアンサンブルの最大分割数を、切り株から最大 n - 1 個の分割まで指数的に増やします。n は学習標本のサイズです。また、アンサンブルごとの学習率を 1 から 0.1 に減らします。
アンサンブルの交差検証を実行します。
アンサンブルごとに交差検証の平均二乗誤差 (MSE) を推定します。
交差検証の MSE を比較します。MSE が最も小さいアンサンブルは性能が最適であり、そのデータ セットに最適な最大分割数、木の数、および学習率も表示されます。
深い回帰木と切り株を成長させ交差検証を実行します。欠損値がデータに含まれているので、代理分岐を使用するように指定します。これらはベンチマークとして機能します。
MdlDeep = fitrtree(X,Y,'CrossVal','on','MergeLeaves','off',... 'MinParentSize',1,'Surrogate','on'); MdlStump = fitrtree(X,Y,'MaxNumSplits',1,'CrossVal','on','Surrogate','on');
150 個の回帰木を使用してブースティング アンサンブルを学習させます。アンサンブルに対して 5 分割の交差検証を実行します。 という数列の値を使用して分割の最大数を変化させます。m は、 が n - 1 を超えない値です。n は学習標本のサイズです。{0.1, 0.25, 0.5, 1}; という集合の各値に対して、それぞれの学習率を調整します。
n = size(X,1); m = floor(log2(n - 1)); lr = [0.1 0.25 0.5 1]; maxNumSplits = 2.^(0:m); numTrees = 150; Mdl = cell(numel(maxNumSplits),numel(lr)); rng(1); % For reproducibility for k = 1:numel(lr); for j = 1:numel(maxNumSplits); t = templateTree('MaxNumSplits',maxNumSplits(j),'Surrogate','on'); Mdl{j,k} = fitensemble(X,Y,'LSBoost',numTrees,t,... 'Type','regression','KFold',5,'LearnRate',lr(k)); end; end;
各アンサンブルについて相互検定の MSE を計算します。
kflAll = @(x)kfoldLoss(x,'Mode','cumulative'); errorCell = cellfun(kflAll,Mdl,'Uniform',false); error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(lr)]); errorDeep = kfoldLoss(MdlDeep); errorStump = kfoldLoss(MdlStump);
少数のアンサンブル、深い木、切り株について、アンサンブルの木の数が増加すると交差検証の MSE がどのように変化するかをプロットします。同じプロットで、学習率に関する曲線をプロットします。木の複雑さの変化を別のプロットにプロットします。木の複雑さのレベルのサブセットを選択します。
mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)]; figure; for k = 1:3; subplot(2,2,k); plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2); axis tight; hold on; h = gca; plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2); plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2); plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k'); h.YLim = [10 50]; xlabel 'Number of trees'; ylabel 'Cross-validated MSE'; title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k)))); hold off; end; hL = legend([cellstr(num2str(lr','Learning Rate = %0.2f'));... 'Deep Tree';'Stump';'Min. MSE']); hL.Position(1) = 0.6;
各曲線では、アンサンブル内の木の本数が最適な位置で交差検証の MSE が最小になります。
全体的に MSE が最小になる最大分割数、木の数および学習率を特定します。
[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);
fprintf('\nMin. MSE = %0.5f',minErr)Min. MSE = 18.42979
fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);Optimal Parameter Values: Num. Trees = 1
fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',... maxNumSplits(idxMNS),lr(idxLR))
MaxNumSplits = 4 Learning Rate = 1.00
このアンサンブルを最適化する別の方法については、ブースティング回帰アンサンブル回帰の最適化を参照してください。
入力引数
名前と値の引数
出力引数
ヒント
NLearnは数十から数千までさまざまな数になります。通常、予測力が高いアンサンブルでは数百から数千の弱学習器が必要です。しかし、このような多数のサイクルの学習をアンサンブルが一度に行う必要はありません。数十個の学習器の学習から開始してアンサンブルの性能を調査し、必要な場合は分類問題用のresumeまたは回帰問題用のresumeを使用して弱学習器の数を増やすことができます。アンサンブルの性能は、アンサンブルの設定と弱学習器の設定によって決まります。つまり、既定のパラメーターを使用する弱学習器を指定すると、アンサンブルの性能が低下する可能性があります。このため、アンサンブルの設定と同じように、テンプレートを使用して弱学習器のパラメーターを調整し、汎化誤差が最小になる値を選択することをお勧めします。
Resampleを使用してリサンプリングを指定する場合は、データ セット全体に対してのリサンプリングをお勧めします。つまり、FResampleの既定設定である1を使用します。分類問題の場合 (つまり、
Typeが'classification'の場合)アンサンブル集約法 (
Method) が'bag'で、誤分類コスト (
Cost) が非常に不均衡である場合、in-bag の標本について、ペナルティが大きいクラスから一意な観測値がオーバーサンプリングされます。クラスの事前確率 (
Prior) の歪みが大きい場合、事前確率が大きいクラスから一意な観測値がオーバーサンプリングされます。
これらの組み合わせにより、標本サイズが小さい場合、ペナルティまたは事前確率が大きいクラスから抽出される out-of-bag 観測値の相対頻度が低くなる可能性があります。この結果、out-of-bag の推定誤差の変動幅が非常に大きくなり、解釈が困難になる可能性があります。特に標本サイズが小さい場合に、out-of-bag の推定誤差の変動幅が大きくならないようにするには、
Costを使用して誤分類コスト行列をより平衡にするか、Priorを使用して事前確率ベクトルの歪みを小さくします。一部の入力引数および出力引数の順序は学習データ内の各クラスに対応するので、名前と値のペアの引数
ClassNamesを使用してクラスの順序を指定することをお勧めします。クラスの順序を簡単に求めるには、未分類の (つまり欠損ラベルがある) 観測値を学習データからすべて削除し、異なるクラスがすべて含まれている配列を取得および表示してから、その配列を
ClassNamesに指定します。たとえば、応答変数 (Y) がラベルの cell 配列であるとします。次のコードは、変数classNamesでクラスの順序を指定します。Ycat = categorical(Y); classNames = categories(Ycat)
categoricalは<undefined>を未分類観測値に割り当て、categoriesは<undefined>を出力から除外します。したがって、このコードをラベルの cell 配列に対して使用するか、同様のコードを categorical 配列に対して使用すると、欠損ラベルがある観測値を削除しなくても各クラスのリストを取得できます。最小相当ラベルから最大相当ラベルの順になるようにクラスの順序を指定するには、(前の項目のように) クラスの順序を簡単に調べ、リスト内のクラスの順序を頻度順に変更してから、リストを
ClassNamesに渡します。前の例に従うと、次のコードは最小相当から最大相当の順にクラスの順序をclassNamesLHで指定します。Ycat = categorical(Y); classNames = categories(Ycat); freq = countcats(Ycat); [~,idx] = sort(freq); classNamesLH = classNames(idx);
アルゴリズム
アンサンブル集約アルゴリズムの詳細については、アンサンブル アルゴリズムを参照してください。
Methodがブースティング アルゴリズム、Learnersが決定木になるように指定した場合、既定では "切り株" が成長します。決定株は、2 つの終端ノード (葉ノード) に接続されている 1 つのルート ノードです。木の深さは、templateTreeを使用して名前と値のペアの引数MaxNumSplits、MinLeafSizeおよびMinParentSizeを指定することにより調整できます。fitensembleは誤分類コストが大きいクラスをオーバーサンプリングし、誤分類コストが小さいクラスをアンダーサンプリングして、in-bag の標本を生成します。その結果、out-of-bag の標本では、誤分類コストが大きいクラスの観測値は少なくなり、誤分類コストが小さいクラスの観測値は多くなります。小さいデータ セットと歪みが大きいコスト行列を使用してアンサンブル分類に学習をさせる場合、クラスあたりの out-of-bag 観測値の数が少なくなる可能性があります。このため、out-of-bag の推定誤差の変動幅が非常に大きくなり、解釈が困難になる可能性があります。事前確率が大きいクラスでも同じ現象が発生する場合があります。アンサンブル集約法 (
Method) が RUSBoost である場合、名前と値のペアの引数RatioToSmallestでは最小相当クラスに関して各クラスのサンプリングの比率を指定します。たとえば、学習データに A および B という 2 つのクラスがあるとします。A には 100 個の観測値、B には 10 個の観測値が含まれています。また、最小相当クラスではm個の観測値が学習データに含まれているとします。'RatioToSmallest',2を設定した場合、s*m2*10=20になります。したがって、fitensembleはクラス A の 20 個の観測値とクラス B の 20 個の観測値を使用して、すべての学習器に学習をさせます。'RatioToSmallest',[2 2]を設定した場合も同じ結果になります。'RatioToSmallest',[2,1]を設定した場合、s1*m2*10=20およびs2*m1*10=10になります。したがって、fitensembleはクラス A の 20 個の観測値とクラス B の 10 個の観測値を使用して、すべての学習器に学習をさせます。
決定木のアンサンブルの場合とデュアルコア以上のシステムの場合、
fitensembleでは Intel® スレッディング ビルディング ブロック (TBB) を使用して学習を並列化します。Intel TBB の詳細については、https://www.intel.com/content/www/us/en/developer/tools/oneapi/onetbb.htmlを参照してください。
参照
[1] Breiman, L. “Bagging Predictors.” Machine Learning. Vol. 26, pp. 123–140, 1996.
[2] Breiman, L. “Random Forests.” Machine Learning. Vol. 45, pp. 5–32, 2001.
[3] Freund, Y. “A more robust boosting algorithm.” arXiv:0905.2138v1, 2009.
[4] Freund, Y. and R. E. Schapire. “A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting.” J. of Computer and System Sciences, Vol. 55, pp. 119–139, 1997.
[5] Friedman, J. “Greedy function approximation: A gradient boosting machine.” Annals of Statistics, Vol. 29, No. 5, pp. 1189–1232, 2001.
[6] Friedman, J., T. Hastie, and R. Tibshirani. “Additive logistic regression: A statistical view of boosting.” Annals of Statistics, Vol. 28, No. 2, pp. 337–407, 2000.
[7] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning section edition, Springer, New York, 2008.
[8] Ho, T. K. “The random subspace method for constructing decision forests.” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 8, pp. 832–844, 1998.
[9] Schapire, R. E., Y. Freund, P. Bartlett, and W.S. Lee. “Boosting the margin: A new explanation for the effectiveness of voting methods.” Annals of Statistics, Vol. 26, No. 5, pp. 1651–1686, 1998.
[10] Seiffert, C., T. Khoshgoftaar, J. Hulse, and A. Napolitano. “RUSBoost: Improving classification performance when training data is skewed.” 19th International Conference on Pattern Recognition, pp. 1–4, 2008.
[11] Warmuth, M., J. Liao, and G. Ratsch. “Totally corrective boosting algorithms that maximize the margin.” Proc. 23rd Int’l. Conf. on Machine Learning, ACM, New York, pp. 1001–1008, 2006.
拡張機能
バージョン履歴
R2011a で導入
