最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。
templateTree
決定木テンプレートの作成
構文
t = templateTreet = templateTree(Name,Value)説明
t = templateTreet を指定します。
アンサンブル分類の場合は
fitcensembleアンサンブル回帰の場合は
fitrensembleECOC モデル分類の場合は
fitcecoc
既定の決定木テンプレートを指定する場合、学習中にすべての入力引数の既定値が使用されます。決定木の型を指定することをお勧めします。たとえば分類木テンプレートには'Type','classification' を指定します。決定木の型を指定し、コマンド ウィンドウに t を表示する場合、Type を除くすべてのオプションは空 ([]) で表示されます。
t = templateTree(Name,Value)
たとえば、カテゴリカル予測子での最適な分割を検出するためのアルゴリズム、分割基準、分割ごとに選択する予測子の数などを指定できます。
コマンド ウィンドウに t を表示する場合、すべてのオプションは、名前と値のペア引数を使用して指定する場合を除き、空 ([]) で表示されます。学習中、空のオプションに既定値が使用されます。
例
代理分岐による分類テンプレートの作成
代理分岐により決定木テンプレートを作成し、このテンプレートを使用して標本データによるアンサンブル学習を実行します。
フィッシャーのアヤメのデータセットを読み込みます。
load fisheriris代理分岐を使用する木の切り株の決定木テンプレートを作成します。
t = templateTree('Surrogate','on','MaxNumSplits',1)
t =
Fit template for Tree.
Surrogate: 'on'
MaxNumSplits: 1
テンプレート オブジェクトのオプションは、Surrogate と MaxNumSplits 以外は空です。t を学習関数に渡す場合、空のオプションはそれぞれの既定値で入力されます。
t をアンサンブル分類の弱学習器として指定します。
Mdl = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t)
Mdl =
classreg.learning.classif.ClassificationEnsemble
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
NumTrained: 100
Method: 'AdaBoostM2'
LearnerNames: {'Tree'}
ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
FitInfo: [100x1 double]
FitInfoDescription: {2x1 cell}
Properties, Methods
標本内 (再代入) 誤分類誤差を表示します。
L = resubLoss(Mdl)
L = 0.0333
アンサンブル回帰に学習をさせる
与えられた気筒数、気筒ごとの排気量、馬力および重量に対して自動車の燃費を予測するアンサンブル回帰を作成します。次に、予測子の数を減らして、別のアンサンブルに学習をさせます。これらのアンサンブルの標本内予測精度を比較します。
carsmall データセットを読み込みます。学習に使用する変数をテーブルに格納します。
load carsmall
Tbl = table(Cylinders,Displacement,Horsepower,Weight,MPG);アンサンブル回帰に学習をさせます。
Mdl1 = fitrensemble(Tbl,'MPG');Mdl1 は RegressionEnsemble モデルです。Mdl1 には、次のような顕著な特徴があります。
アンサンブル集約アルゴリズムは
'LSBoost'です。アンサンブル集約アルゴリズムがブースティング アルゴリズムなので、最大 10 分割を許容する回帰木がアンサンブルを構成します。
100 本の木がアンサンブルを構成します。
MPG は MATLAB® ワークスペースの変数なので、次のように入力すると同じ結果を得ることができます。
Mdl1 = fitrensemble(Tbl,MPG);
学習させたアンサンブル回帰を使用して、排気量が 200 立方インチ、150 馬力、重量 3,000 lbs の 4 気筒搭載車の燃費を予測します。
pMPG = predict(Mdl1,[4 200 150 3000])
pMPG = 25.6467
Displacement を除く Tbl 内の予測子をすべて使用して、新しいアンサンブルに学習をさせます。
formula = 'MPG ~ Cylinders + Horsepower + Weight';
Mdl2 = fitrensemble(Tbl,formula);Mdl1 と Mdl2 の再代入 MSE を比較します。
mse1 = resubLoss(Mdl1)
mse1 = 0.3096
mse2 = resubLoss(Mdl2)
mse2 = 0.5861
すべての予測子に対して学習を行ったアンサンブルの方が、標本内 MSE が小さくなります。
アンサンブルに対して最適な分割数と木の数の探索
決定木のアンサンブルにおける木の深さを制御できます。また、名前と値のペアの引数 MaxNumSplits、MinLeafSize または MinParentSize を使用すると、決定木バイナリ学習器が含まれている ECOC モデルにおける木の深さも制御できます。
決定木をバギングする場合、既定の設定では
fitrensembleは深い決定木を成長させます。モデルの複雑さや計算時間の削減のために、より浅い木を成長させることもできます。決定木をブースティングする場合、既定の設定では
fitrensembleは浅い木を成長させます。木を深くすると、精度を向上させることができます。
carsmall データセットを読み込みます。変数 Acceleration、Displacement、Horsepower および Weight を予測子として、MPG を応答として指定します。
load carsmall
X = [Acceleration Displacement Horsepower Weight];
Y = MPG;回帰木をブースティングする場合、木の深さの制御に関する既定値は次のとおりです。
MaxNumSplitsは1。このオプションは切り株を成長させます。5(次の場合)MinLeafSize10(次の場合)MinParentSize
最適な分割数は次により求めます。
一連のアンサンブルを学習させます。以後のアンサンブルの最大分割数を、切り株から最大 n - 1 個の分割まで指数的に増やします。n は学習標本のサイズです。また、アンサンブルごとの学習率を 1 から 0.1 に減らします。
アンサンブルの交差検証を実行します。
アンサンブルごとに交差検証の平均二乗誤差 (MSE) を推定します。
交差検証の MSE を比較します。MSE が最も小さいアンサンブルは性能が最適であり、そのデータセットに最適な最大分割数、木の数、および学習率も表示されます。
深い回帰木と切り株を成長させ交差検証を実行します。欠損値がデータに含まれているので、代理分岐を使用するように指定します。これらはベンチマークとして機能します。
MdlDeep = fitrtree(X,Y,'CrossVal','on','MergeLeaves','off',... 'MinParentSize',1,'Surrogate','on'); MdlStump = fitrtree(X,Y,'MaxNumSplits',1,'CrossVal','on','Surrogate','on');
150 個の回帰木を使用してブースティング アンサンブルを学習させます。アンサンブルに対して 5 分割の交差検証を実行します。
という数列の値を使用して分割の最大数を変化させます。m は、
が n - 1 を超えない値です。n は学習標本のサイズです。{0.1, 0.25, 0.5, 1}; という集合の各値に対して、それぞれの学習率を調整します。
n = size(X,1); m = floor(log2(n - 1)); lr = [0.1 0.25 0.5 1]; maxNumSplits = 2.^(0:m); numTrees = 150; Mdl = cell(numel(maxNumSplits),numel(lr)); rng(1); % For reproducibility for k = 1:numel(lr); for j = 1:numel(maxNumSplits); t = templateTree('MaxNumSplits',maxNumSplits(j),'Surrogate','on'); Mdl{j,k} = fitrensemble(X,Y,'Method','LSBoost',... 'NumLearningCycles',numTrees,'Learners',t,... 'KFold',5,'LearnRate',lr(k)); end; end;
各アンサンブルについて相互検定の MSE を計算します。
kflAll = @(x)kfoldLoss(x,'Mode','cumulative'); errorCell = cellfun(kflAll,Mdl,'Uniform',false); error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(lr)]); errorDeep = kfoldLoss(MdlDeep); errorStump = kfoldLoss(MdlStump);
少数のアンサンブル、深い木、切り株について、アンサンブルの木の数が増加すると交差検証の MSE がどのように変化するかをプロットします。同じプロットで、学習率に関する曲線をプロットします。木の複雑さの変化を別のプロットにプロットします。木の複雑さのレベルのサブセットを選択します。
mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)]; figure; for k = 1:3; subplot(2,2,k); plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2); axis tight; hold on; h = gca; plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2); plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2); plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k'); h.YLim = [10 50]; xlabel 'Number of trees'; ylabel 'Cross-validated MSE'; title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k)))); hold off; end; hL = legend([cellstr(num2str(lr','Learning Rate = %0.2f'));... 'Deep Tree';'Stump';'Min. MSE']); hL.Position(1) = 0.6;
各曲線では、アンサンブル内の木の本数が最適な位置で交差検証の MSE が最小になります。
全体的に MSE が最小になる最大分割数、木の数および学習率を特定します。
[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);
fprintf('\nMin. MSE = %0.5f',minErr)Min. MSE = 18.42979
fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);Optimal Parameter Values: Num. Trees = 1
fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',... maxNumSplits(idxMNS),lr(idxLR))
MaxNumSplits = 4 Learning Rate = 1.00
このアンサンブルを最適化する別の方法については、ブースティングされたアンサンブル回帰の最適化を参照してください。
並列計算の使用による予測子の重要度の不偏推定
この例では、Parallel Computing Toolbox™ のライセンスが必要です。
carsmall データセットを読み込みます。与えられた加速、気筒数、エンジン排気量、馬力、製造業者、モデル年および重量に対して自動車の燃費の平均を予測するモデルを考えます。Cylinders、Mfg および Model_Year はカテゴリカル変数であるとします。
load carsmall Cylinders = categorical(Cylinders); Mfg = categorical(cellstr(Mfg)); Model_Year = categorical(Model_Year); X = table(Acceleration,Cylinders,Displacement,Horsepower,Mfg,... Model_Year,Weight,MPG); rng('default'); % For reproducibility
カテゴリカル変数で表現されるカテゴリの個数を表示します。
numCylinders = numel(categories(Cylinders)) numMfg = numel(categories(Mfg)) numModelYear = numel(categories(Model_Year))
numCylinders =
3
numMfg =
28
numModelYear =
3
Cylinders と Model_Year には 3 つしかカテゴリがないので、予測子分割アルゴリズムの標準 CART ではこの 2 つの変数よりも連続予測子が分割されます。
データセット全体を使用して、500 本の回帰木のランダム フォレストに学習をさせます。偏りの無い木を成長させるため、予測子の分割に曲率検定を使用するよう指定します。データには欠損値が含まれているので、代理分岐を使用するよう指定します。
t = templateTree('PredictorSelection','curvature','Surrogate','on'); Mdl = fitrensemble(X,'MPG','Method','bag','NumLearningCycles',500,... 'Learners',t);
out-of-bag 観測値を並べ替えることにより、予測子の重要度の尺度を推定します。並列計算を実行します。棒グラフを使用して推定を比較します。
options = statset('UseParallel',true); imp = oobPermutedPredictorImportance(Mdl,'Options',options); figure; bar(imp); title('Out-of-Bag Permuted Predictor Importance Estimates'); ylabel('Estimates'); xlabel('Predictors'); h = gca; h.XTickLabel = Mdl.PredictorNames; h.XTickLabelRotation = 45; h.TickLabelInterpreter = 'none';
Starting parallel pool (parpool) using the 'local' profile ... connected to 4 workers.
このケースでは、最も重要な予測子は Model_Year であり、次に重要なのは Cylinders です。これらの結果を予測子の重要度の推定の結果と比較します。
入力引数
出力引数
アルゴリズム
MaxNumSplitsに対応するため、現在の "レイヤー" に含まれているすべてのノードを分割してから分岐ノードの数をカウントします。レイヤーとは、ルート ノードから同じ距離にあるノードの集合です。分岐ノードの数がMaxNumSplitsを超えた場合、以下の処理が行われます。現在のレイヤーに含まれている分岐ノード数が、最大でも
MaxNumSplitsになるように、分割を解除する数を判断する。不純度順に分岐ノードを並べ替える。
適切ではない分岐の分割を解除する。
それまでに成長させた決定木を返す。
この手順は、バランスが最大の木を生成することを目指しています。
次の条件のいずれかが満たされるまで、分岐ノードをレイヤー単位で分割します。
MaxNumSplits+ 1 個の分岐ノードが存在している。推奨されている分割を行うと、少なくとも 1 つの分岐ノードで観測値の数が
MinParentSizeより少なくなる。推奨される分割を行うと、少なくとも 1 つの葉ノードで観測値の数が
MinLeafSizeより少なくなる。レイヤー内で適切な分割を検出できない。つまり、現在の枝刈り基準 (
PruneCriterion参照) では、レイヤー内で推奨されている分割を行っても状況が改善されない。このイベントの特殊なケースは、すべてのノードが純粋 (ノード内のすべての観測値が同じクラス) になる場合です。PredictorSelectionの値が'curvature'または'interaction-curvature'の場合に、すべての検定で p 値が 0.05 を超える。
MaxNumSplitsとMinLeafSizeは、既定値で行われる分割に影響を与えません。'MaxNumSplits'を設定した場合、MaxNumSplits回の分割が発生する前に、MinParentSizeの値が原因となって分割が停止することもあります。決定木を成長させるときの分割予測子の選択とノード分割アルゴリズムの詳細については、分類木の場合はアルゴリズムを、回帰木の場合はアルゴリズムを参照してください。
参照
[1] Breiman, L., J. Friedman, R. Olshen, and C. Stone. Classification and Regression Trees. Boca Raton, FL: CRC Press, 1984.
[2] Coppersmith, D., S. J. Hong, and J. R. M. Hosking. “Partitioning Nominal Attributes in Decision Trees.” Data Mining and Knowledge Discovery, Vol. 3, 1999, pp. 197–217.
[3] Loh, W.Y. “Regression Trees with Unbiased Variable Selection and Interaction Detection.” Statistica Sinica, Vol. 12, 2002, pp. 361–386.
[4] Loh, W.Y. and Y.S. Shih. “Split Selection Methods for Classification Trees.” Statistica Sinica, Vol. 7, 1997, pp. 815–840.
R2014a で導入
Select a Web Site
Choose a web site to get translated content where available and see local events and offers. Based on your location, we recommend that you select: .
Select web siteYou can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)
