このページの翻訳は最新ではありません。ここをクリックして、英語の最新版を参照してください。
fitcnet
構文
説明
fitcnet は、分類用の全結合のフィードフォワード ニューラル ネットワークの学習に使用します。ニューラル ネットワークの最初の全結合層にはネットワーク入力 (予測子データ) からの結合があり、後続の各層には前の層からの結合があります。各全結合層では、入力に重み行列が乗算されてからバイアス ベクトルが加算されます。各全結合層の後には活性化関数が続きます。最終全結合層とそれに続くソフトマックス活性化関数によってネットワークの出力、つまり分類スコア (事後確率) および予測ラベルが生成されます。詳細については、ニューラル ネットワークの構造を参照してください。
Mdl = fitcnet(Tbl,ResponseVarName)Tbl 内の予測子と table 変数 ResponseVarName 内のクラス ラベルを使用して学習させたニューラル ネットワーク分類モデル Mdl を返します。
Mdl = fitcnet(___,Name,Value)LayerSizes や Activations を指定して、全結合層の出力の数や活性化関数を調整できます。
例
ニューラル ネットワーク分類器の学習
ニューラル ネットワーク分類器に学習させ、検定セットで分類器の性能を評価します。
標本ファイル CreditRating_Historical.dat を table に読み取ります。予測子データは、法人顧客リストの財務比率と業種の情報で構成されます。応答変数は、格付機関が割り当てた格付けから構成されます。データセットの最初の数行をプレビューします。
creditrating = readtable("CreditRating_Historical.dat");
head(creditrating) ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA Industry Rating
_____ ______ ______ _______ ________ _____ ________ _______
62394 0.013 0.104 0.036 0.447 0.142 3 {'BB' }
48608 0.232 0.335 0.062 1.969 0.281 8 {'A' }
42444 0.311 0.367 0.074 1.935 0.366 1 {'A' }
48631 0.194 0.263 0.062 1.017 0.228 4 {'BBB'}
43768 0.121 0.413 0.057 3.647 0.466 12 {'AAA'}
39255 -0.117 -0.799 0.01 0.179 0.082 4 {'CCC'}
62236 0.087 0.158 0.049 0.816 0.324 2 {'BBB'}
39354 0.005 0.181 0.034 2.597 0.388 7 {'AA' }
変数 ID の各値は一意の顧客 ID であるため (つまり、length(unique(creditrating.ID)) は creditrating に含まれる観測値の数に等しい)、変数 ID は予測子としては適切ではありません。変数 ID を table から削除し、変数 Industry を categorical 変数に変換します。
creditrating = removevars(creditrating,"ID");
creditrating.Industry = categorical(creditrating.Industry);応答変数 Rating を順序 categorical 変数に変換します。
creditrating.Rating = categorical(creditrating.Rating, ... ["AAA","AA","A","BBB","BB","B","CCC"],"Ordinal",true);
データを学習セットと検定セットに分割します。観測値の約 80% をニューラル ネットワーク モデルの学習に使用し、観測値の約 20% を学習済みモデルの新しいデータでの性能の検定に使用します。cvpartition を使用してデータを分割します。
rng("default") % For reproducibility of the partition c = cvpartition(creditrating.Rating,"Holdout",0.20); trainingIndices = training(c); % Indices for the training set testIndices = test(c); % Indices for the test set creditTrain = creditrating(trainingIndices,:); creditTest = creditrating(testIndices,:);
学習データ creditTrain を関数 fitcnet に渡して、ニューラル ネットワーク分類器に学習させます。
Mdl = fitcnet(creditTrain,"Rating")Mdl =
ClassificationNeuralNetwork
PredictorNames: {1x6 cell}
ResponseName: 'Rating'
CategoricalPredictors: 6
ClassNames: [AAA AA A BBB BB B CCC]
ScoreTransform: 'none'
NumObservations: 3146
LayerSizes: 10
Activations: 'relu'
OutputLayerActivation: 'softmax'
Solver: 'LBFGS'
ConvergenceInfo: [1x1 struct]
TrainingHistory: [1000x7 table]
Properties, Methods
Mdl は学習させた ClassificationNeuralNetwork 分類器です。ドット表記を使用して Mdl のプロパティにアクセスできます。たとえば、Mdl.TrainingHistory と指定すると、ニューラル ネットワーク モデルの学習履歴についての詳細情報を取得できます。
検定セットの分類誤差を計算して、検定セットで分類器の性能を評価します。混同行列を使用して結果を可視化します。
testAccuracy = 1 - loss(Mdl,creditTest,"Rating", ... "LossFun","classiferror")
testAccuracy = 0.8003
confusionchart(creditTest.Rating,predict(Mdl,creditTest))
ニューラル ネットワーク分類器のアーキテクチャの指定
全結合層のサイズなど、ニューラル ネットワーク分類器の構造を指定します。
レーダー信号のデータを含む ionosphere データ セットを読み込みます。X に予測子データが格納されており、応答変数の Y にレーダー信号が良好 ("g") か不良 ("b") かを表す値が格納されます。
load ionosphere層化ホールドアウト分割を使用して、データを学習データ (XTrain および YTrain) と検定データ (XTest および YTest) に分割します。観測値の約 30% を検定用に予約し、残りの観測値を学習に使用します。
rng("default") % For reproducibility of the partition cvp = cvpartition(Y,"Holdout",0.3); XTrain = X(training(cvp),:); YTrain = Y(training(cvp)); XTest = X(test(cvp),:); YTest = Y(test(cvp));
ニューラル ネットワーク分類器に学習させます。最初の全結合層の出力数を 35、2 番目の全結合層の出力数を 20 に指定します。既定では、どちらの層でも正規化線形ユニット (ReLU) 活性化関数が使用されます。全結合層の活性化関数は、名前と値の引数 Activations を使用して変更できます。
Mdl = fitcnet(XTrain,YTrain, ... "LayerSizes",[35 20])
Mdl =
ClassificationNeuralNetwork
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: 'none'
NumObservations: 246
LayerSizes: [35 20]
Activations: 'relu'
OutputLayerActivation: 'softmax'
Solver: 'LBFGS'
ConvergenceInfo: [1x1 struct]
TrainingHistory: [47x7 table]
Properties, Methods
Mdl の LayerWeights プロパティと LayerBiases プロパティを使用して、学習させた分類器の全結合層の重みとバイアスにアクセスします。各プロパティの最初の 2 つの要素が最初の 2 つの全結合層の値に対応し、3 番目の要素が分類用のソフトマックス活性化関数をもつ最終全結合層の値に対応します。たとえば、2 番目の全結合層の重みとバイアスを表示します。
Mdl.LayerWeights{2}ans = 20×35
0.0481 0.2501 -0.1535 -0.0934 0.0760 -0.0579 -0.2465 1.0411 0.3712 -1.2007 1.1162 0.4296 0.4045 0.5005 0.8839 0.4624 -0.3154 0.3454 -0.0487 0.2648 0.0732 0.5773 0.4286 0.0881 0.9468 0.2981 0.5534 1.0518 -0.0224 0.6894 0.5527 0.7045 -0.6124 0.2145 -0.0790
-0.9489 -1.8343 0.5510 -0.5751 -0.8726 0.8815 0.0203 -1.6379 2.0315 1.7599 -1.4153 -1.4335 -1.1638 -0.1715 1.1439 -0.7661 1.1230 -1.1982 -0.5409 -0.5821 -0.0627 -0.7038 -0.0817 -1.5773 -1.4671 0.2053 -0.7931 -1.6201 -0.1737 -0.7762 -0.3063 -0.8771 1.5134 -0.4611 -0.0649
-0.1910 0.0246 -0.3511 0.0097 0.3160 -0.0693 0.2270 -0.0783 -0.1626 -0.3478 0.2765 0.4179 0.0727 -0.0314 -0.1798 -0.0583 0.1375 -0.1876 0.2518 0.2137 0.1497 0.0395 0.2859 -0.0905 0.4325 -0.2012 0.0388 -0.1441 -0.1431 -0.0249 -0.2200 0.0860 -0.2076 0.0132 0.1737
-0.0415 -0.0059 -0.0753 -0.1477 -0.1621 -0.1762 0.2164 0.1710 -0.0610 -0.1402 0.1452 0.2890 0.2872 -0.2616 -0.4204 -0.2831 -0.1901 0.0036 0.0781 -0.0826 0.1588 -0.2782 0.2510 -0.1069 -0.2692 0.2306 0.2521 0.0306 0.2524 -0.4218 0.2478 0.2343 -0.1031 0.1037 0.1598
1.1848 1.6142 -0.1352 0.5774 0.5491 0.0103 0.0209 0.7219 -0.8643 -0.5578 1.3595 1.5385 1.0015 0.7416 -0.4342 0.2279 0.5667 1.1589 0.7100 0.1823 0.4171 0.7051 0.0794 1.3267 1.2659 0.3197 0.3947 0.3436 -0.1415 0.6607 1.0071 0.7726 -0.2840 0.8801 0.0848
0.2486 -0.2920 -0.0004 0.2806 0.2987 -0.2709 0.1473 -0.2580 -0.0499 -0.0755 0.2000 0.1535 -0.0285 -0.0520 -0.2523 -0.2505 -0.0437 -0.2323 0.2023 0.2061 -0.1365 0.0744 0.0344 -0.2891 0.2341 -0.1556 0.1459 0.2533 -0.0583 0.0243 -0.2949 -0.1530 0.1546 -0.0340 -0.1562
-0.0516 0.0640 0.1824 -0.0675 -0.2065 -0.0052 -0.1682 -0.1520 0.0060 0.0450 0.0813 -0.0234 0.0657 0.3219 -0.1871 0.0658 -0.2103 0.0060 -0.2831 -0.1811 -0.0988 0.2378 -0.0761 0.1714 -0.1596 -0.0011 0.0609 0.4003 0.3687 -0.2879 0.0910 0.0604 -0.2222 -0.2735 -0.1155
-0.6192 -0.7804 -0.0506 -0.4205 -0.2584 -0.2020 -0.0008 0.0534 1.0185 -0.0307 -0.0539 -0.2020 0.0368 -0.1847 0.0886 -0.4086 -0.4648 -0.3785 0.1542 -0.5176 -0.3207 0.1893 -0.0313 -0.5297 -0.1261 -0.2749 -0.6152 -0.5914 -0.3089 0.2432 -0.3955 -0.1711 0.1710 -0.4477 0.0718
0.5049 -0.1362 -0.2218 0.1637 -0.1282 -0.1008 0.1445 0.4527 -0.4887 0.0503 0.1453 0.1316 -0.3311 -0.1081 -0.7699 0.4062 -0.1105 -0.0855 0.0630 -0.1469 -0.2533 0.3976 0.0418 0.5294 0.3982 0.1027 -0.0973 -0.1282 0.2491 0.0425 0.0533 0.1578 -0.8403 -0.0535 -0.0048
1.1109 -0.0466 0.4044 0.6366 0.1863 0.5660 0.2839 0.8793 -0.5497 0.0057 0.3468 0.0980 0.3364 0.4669 0.1466 0.7883 -0.1743 0.4444 0.4535 0.1521 0.7476 0.2246 0.4473 0.2829 0.8881 0.4666 0.6334 0.3105 0.9571 0.2808 0.6483 0.1180 -0.4558 1.2486 0.2453
⋮
Mdl.LayerBiases{2}ans = 20×1
0.6147
0.1891
-0.2767
-0.2977
1.3655
0.0347
0.1509
-0.4839
-0.3960
0.9248
⋮
最終全結合層の出力は 2 つで、応答変数内のクラスごとに 1 つずつとなります。層の出力の数は、層の重みと層のバイアスの最初の次元に対応します。
size(Mdl.LayerWeights{end})ans = 1×2
2 20
size(Mdl.LayerBiases{end})ans = 1×2
2 1
学習させた分類器の性能を推定するには、Mdl の検定セットの分類誤差を計算します。
testError = loss(Mdl,XTest,YTest, ... "LossFun","classiferror")
testError = 0.0774
accuracy = 1 - testError
accuracy = 0.9226
Mdl で検定セットの観測値の約 92% が正確に分類されています。
検証データを使用したニューラル ネットワーク学習の早期停止
学習プロセスの各反復でニューラル ネットワークの検証損失を計算します。検証損失が妥当な値まで小さくなったら、その時点で学習プロセスを早期に停止します。
patients データセットを読み込みます。データ セットから table を作成します。各行が 1 人の患者に対応し、各列が診断の変数に対応します。変数 Smoker を応答変数として使用し、残りの変数を予測子として使用します。
load patients
tbl = table(Diastolic,Systolic,Gender,Height,Weight,Age,Smoker);層化ホールドアウト分割を使用して、データを学習セット tblTrain と検証セット tblValidation に分割します。観測値の約 30% が検証データ用に予約され、残りの観測値が学習データ セットに使用されます。
rng("default") % For reproducibility of the partition c = cvpartition(tbl.Smoker,"Holdout",0.30); trainingIndices = training(c); validationIndices = test(c); tblTrain = tbl(trainingIndices,:); tblValidation = tbl(validationIndices,:);
学習セットを使用してニューラル ネットワーク分類器に学習させます。tblTrain の列 Smoker を応答変数として指定します。検証セットを使用して各反復でモデルを評価します。名前と値の引数 Verbose を使用して、各反復で学習データを表示するように指定します。既定では、検証クロスエントロピー損失が 6 回連続でそれまでに計算された検証クロスエントロピー損失の最小値以上になると、その時点で学習プロセスが早期に終了します。検証損失が最小値以上になる許容回数を変更するには、名前と値の引数 ValidationPatience を指定します。
Mdl = fitcnet(tblTrain,"Smoker", ... "ValidationData",tblValidation, ... "Verbose",1);
|==========================================================================================| | Iteration | Train Loss | Gradient | Step | Iteration | Validation | Validation | | | | | | Time (sec) | Loss | Checks | |==========================================================================================| | 1| 2.602935| 26.866935| 0.262009| 0.044064| 2.793048| 0| | 2| 1.470816| 42.594723| 0.058323| 0.008228| 1.247046| 0| | 3| 1.299292| 25.854432| 0.034910| 0.005566| 1.507857| 1| | 4| 0.710465| 11.629107| 0.013616| 0.005901| 0.889157| 0| | 5| 0.647783| 2.561740| 0.005753| 0.011533| 0.766728| 0| | 6| 0.645541| 0.681579| 0.001000| 0.001476| 0.776072| 1| | 7| 0.639611| 1.544692| 0.007013| 0.002469| 0.776320| 2| | 8| 0.604189| 5.045676| 0.064190| 0.000818| 0.744919| 0| | 9| 0.565364| 5.851552| 0.068845| 0.000837| 0.694226| 0| | 10| 0.391994| 8.377717| 0.560480| 0.000967| 0.425466| 0| |==========================================================================================| | Iteration | Train Loss | Gradient | Step | Iteration | Validation | Validation | | | | | | Time (sec) | Loss | Checks | |==========================================================================================| | 11| 0.383843| 0.630246| 0.110270| 0.001859| 0.428487| 1| | 12| 0.369289| 2.404750| 0.084395| 0.001798| 0.405728| 0| | 13| 0.357839| 6.220679| 0.199197| 0.001822| 0.378480| 0| | 14| 0.344974| 2.752717| 0.029013| 0.001387| 0.367279| 0| | 15| 0.333747| 0.711398| 0.074513| 0.003264| 0.348499| 0| | 16| 0.327763| 0.804818| 0.122178| 0.001343| 0.330237| 0| | 17| 0.327702| 0.778169| 0.009810| 0.001242| 0.329095| 0| | 18| 0.327277| 0.020615| 0.004377| 0.001042| 0.329141| 1| | 19| 0.327273| 0.010018| 0.003313| 0.001044| 0.328773| 0| | 20| 0.327268| 0.019497| 0.000805| 0.001708| 0.328831| 1| |==========================================================================================| | Iteration | Train Loss | Gradient | Step | Iteration | Validation | Validation | | | | | | Time (sec) | Loss | Checks | |==========================================================================================| | 21| 0.327228| 0.113983| 0.005397| 0.001136| 0.329085| 2| | 22| 0.327138| 0.240166| 0.012159| 0.001034| 0.329406| 3| | 23| 0.326865| 0.428912| 0.036841| 0.001157| 0.329952| 4| | 24| 0.325797| 0.255227| 0.139585| 0.001171| 0.331246| 5| | 25| 0.325181| 0.758050| 0.135868| 0.002451| 0.332035| 6| |==========================================================================================|
各反復における学習クロスエントロピー損失と検証クロスエントロピー損失を比較するプロットを作成します。既定では、fitcnet はオブジェクト Mdl の TrainingHistory プロパティに損失の情報を格納します。この情報にドット表記を使用してアクセスできます。
iteration = Mdl.TrainingHistory.Iteration; trainLosses = Mdl.TrainingHistory.TrainingLoss; valLosses = Mdl.TrainingHistory.ValidationLoss; plot(iteration,trainLosses,iteration,valLosses) legend(["Training","Validation"]) xlabel("Iteration") ylabel("Cross-Entropy Loss")
検証損失が最小になる対応する反復を確認します。最終的に返されるモデル Mdl は、この反復で学習させたモデルになります。
[~,minIdx] = min(valLosses); iteration(minIdx)
ans = 19
交差検証を使用したニューラル ネットワークの適切な正則化強度の特定
ニューラル ネットワーク モデルの交差検証損失をさまざまな正則化強度で評価し、モデルの性能が最も高くなる対応する正則化強度を選択します。
標本ファイル CreditRating_Historical.dat を table に読み取ります。予測子データは、法人顧客リストの財務比率と業種の情報で構成されます。応答変数は、格付機関が割り当てた格付けから構成されます。データセットの最初の数行をプレビューします。
creditrating = readtable("CreditRating_Historical.dat");
head(creditrating) ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA Industry Rating
_____ ______ ______ _______ ________ _____ ________ _______
62394 0.013 0.104 0.036 0.447 0.142 3 {'BB' }
48608 0.232 0.335 0.062 1.969 0.281 8 {'A' }
42444 0.311 0.367 0.074 1.935 0.366 1 {'A' }
48631 0.194 0.263 0.062 1.017 0.228 4 {'BBB'}
43768 0.121 0.413 0.057 3.647 0.466 12 {'AAA'}
39255 -0.117 -0.799 0.01 0.179 0.082 4 {'CCC'}
62236 0.087 0.158 0.049 0.816 0.324 2 {'BBB'}
39354 0.005 0.181 0.034 2.597 0.388 7 {'AA' }
変数 ID の各値は一意の顧客 ID であるため (つまり、length(unique(creditrating.ID)) は creditrating に含まれる観測値の数に等しい)、変数 ID は予測子としては適切ではありません。変数 ID を table から削除し、変数 Industry を categorical 変数に変換します。
creditrating = removevars(creditrating,"ID");
creditrating.Industry = categorical(creditrating.Industry);応答変数 Rating を順序 categorical 変数に変換します。
creditrating.Rating = categorical(creditrating.Rating, ... ["AAA","AA","A","BBB","BB","B","CCC"],"Ordinal",true);
層化 5 分割交差検証用に cvpartition オブジェクトを作成します。cvp を使用して、各分割におけるそれぞれの格付けの比率がほぼ同じになるようにデータを 5 つの分割に分割します。分割の再現性を得るため、乱数シードを既定値に設定します。
rng("default") cvp = cvpartition(creditrating.Rating,"KFold",5);
さまざまな正則化強度でニューラル ネットワーク分類器の交差検証分類誤差を計算します。1/n に基づく正則化強度を試します。n は観測値の数です。ニューラル ネットワーク モデルに学習させる前にデータを標準化するように指定します。
1/size(creditrating,1)
ans = 2.5432e-04
lambda = (0:0.5:5)*1e-4; cvloss = zeros(length(lambda),1); for i = 1:length(lambda) cvMdl = fitcnet(creditrating,"Rating","Lambda",lambda(i), ... "CVPartition",cvp,"Standardize",true); cvloss(i) = kfoldLoss(cvMdl,"LossFun","classiferror"); end
結果をプロットします。最小の交差検証分類誤差に対応する正則化強度を求めます。
plot(lambda,cvloss) xlabel("Regularization Strength") ylabel("Cross-Validation Loss")
[~,idx] = min(cvloss); bestLambda = lambda(idx)
bestLambda = 5.0000e-05
正則化強度 bestLambda を使用してニューラル ネットワーク分類器に学習させます。
Mdl = fitcnet(creditrating,"Rating","Lambda",bestLambda, ... "Standardize",true)
Mdl =
ClassificationNeuralNetwork
PredictorNames: {1x6 cell}
ResponseName: 'Rating'
CategoricalPredictors: 6
ClassNames: [AAA AA A BBB BB B CCC]
ScoreTransform: 'none'
NumObservations: 3932
LayerSizes: 10
Activations: 'relu'
OutputLayerActivation: 'softmax'
Solver: 'LBFGS'
ConvergenceInfo: [1x1 struct]
TrainingHistory: [1000x7 table]
Properties, Methods
OptimizeHyperparameters を使用したニューラル ネットワーク分類器の改善
OptimizeHyperparameters 引数を使用してニューラル ネットワーク分類器に学習させ、結果の分類器を改善します。この引数を使用すると、fitcnet はベイズ最適化を使用し、問題のある一部のハイパーパラメーターに対して交差検証損失を最小化します。
標本ファイル CreditRating_Historical.dat を table に読み取ります。予測子データは、法人顧客リストの財務比率と業種の情報で構成されます。応答変数は、格付機関が割り当てた格付けから構成されます。データセットの最初の数行をプレビューします。
creditrating = readtable("CreditRating_Historical.dat");
head(creditrating)ans=8×8 table
ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA Industry Rating
_____ ______ ______ _______ ________ _____ ________ _______
62394 0.013 0.104 0.036 0.447 0.142 3 {'BB' }
48608 0.232 0.335 0.062 1.969 0.281 8 {'A' }
42444 0.311 0.367 0.074 1.935 0.366 1 {'A' }
48631 0.194 0.263 0.062 1.017 0.228 4 {'BBB'}
43768 0.121 0.413 0.057 3.647 0.466 12 {'AAA'}
39255 -0.117 -0.799 0.01 0.179 0.082 4 {'CCC'}
62236 0.087 0.158 0.049 0.816 0.324 2 {'BBB'}
39354 0.005 0.181 0.034 2.597 0.388 7 {'AA' }
変数 ID の各値は一意の顧客 ID であるため (つまり、length(unique(creditrating.ID)) は creditrating に含まれる観測値の数に等しい)、変数 ID は予測子としては適切ではありません。変数 ID を table から削除し、変数 Industry を categorical 変数に変換します。
creditrating = removevars(creditrating,"ID");
creditrating.Industry = categorical(creditrating.Industry);応答変数 Rating を順序 categorical 変数に変換します。
creditrating.Rating = categorical(creditrating.Rating, ... ["AAA","AA","A","BBB","BB","B","CCC"],"Ordinal",true);
データを学習セットと検定セットに分割します。観測値の約 80% をニューラル ネットワーク モデルの学習に使用し、観測値の約 20% を学習済みモデルの新しいデータでの性能の検定に使用します。cvpartition を使用してデータを分割します。
rng("default") % For reproducibility of the partition c = cvpartition(creditrating.Rating,"Holdout",0.20); trainingIndices = training(c); % Indices for the training set testIndices = test(c); % Indices for the test set creditTrain = creditrating(trainingIndices,:); creditTest = creditrating(testIndices,:);
学習データ creditTrain を関数 fitcnet に渡してニューラル ネットワーク分類器に学習させ、OptimizeHyperparameters 引数を含めます。再現性を得るために、HyperparameterOptimizationOptions 構造体 の AcquisitionFunctionName を "expected-improvement-plus" に設定します。より適切な解を得るために、最適化のステップ数を既定値の 30 ではなく 100 に設定します。fitcnet は、既定の設定ではベイズ最適化を実行します。グリッド探索またはランダム探索を使用するために、HyperparameterOptimizationOptions の Optimizer フィールドを設定します。
rng("default") % For reproducibility Mdl = fitcnet(creditTrain,"Rating","OptimizeHyperparameters","auto", ... "HyperparameterOptimizationOptions", ... struct("AcquisitionFunctionName","expected-improvement-plus", ... "MaxObjectiveEvaluations",100))
|============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 1 | Best | 0.55944 | 0.85659 | 0.55944 | 0.55944 | none | true | 0.05834 | 3 | | 2 | Best | 0.21488 | 10.56 | 0.21488 | 0.22858 | relu | true | 5.0811e-08 | [ 1 25] | | 3 | Accept | 0.74189 | 0.38301 | 0.21488 | 0.21522 | sigmoid | true | 0.57986 | 126 | | 4 | Accept | 0.4501 | 0.55193 | 0.21488 | 0.21509 | tanh | false | 0.018683 | 10 | | 5 | Accept | 0.43071 | 6.8079 | 0.21488 | 0.21508 | relu | true | 3.3991e-06 | [ 2 1 4] | | 6 | Accept | 0.21678 | 30.867 | 0.21488 | 0.21585 | relu | true | 6.8351e-09 | [ 2 179] | | 7 | Accept | 0.27686 | 22.333 | 0.21488 | 0.21584 | relu | true | 1.3422e-06 | [ 78 4 2] | | 8 | Accept | 0.24571 | 13.56 | 0.21488 | 0.21583 | tanh | false | 1.8747e-06 | [ 10 3 19] | | 9 | Best | 0.21297 | 39.621 | 0.21297 | 0.21299 | tanh | false | 0.00052 | [ 1 61 64] | | 10 | Accept | 0.74189 | 0.82366 | 0.21297 | 0.21299 | tanh | false | 0.15325 | [ 47 148 271] | | 11 | Accept | 0.74189 | 0.28355 | 0.21297 | 0.21302 | relu | false | 0.091971 | [ 3 2 64] | | 12 | Accept | 0.22123 | 29.531 | 0.21297 | 0.21307 | tanh | false | 1.7719e-06 | [ 3 64 38] | | 13 | Accept | 0.74189 | 0.52092 | 0.21297 | 0.213 | tanh | false | 0.51268 | [233 146 6] | | 14 | Accept | 0.30197 | 46.694 | 0.21297 | 0.213 | relu | true | 3.4968e-08 | [295 17] | | 15 | Accept | 0.2136 | 21.808 | 0.21297 | 0.21302 | tanh | false | 4.2565e-05 | [ 1 61] | | 16 | Accept | 0.21519 | 27.504 | 0.21297 | 0.21378 | tanh | false | 3.562e-05 | [ 1 2 91] | | 17 | Accept | 0.2136 | 7.4304 | 0.21297 | 0.21379 | relu | true | 3.1901e-09 | 1 | | 18 | Accept | 0.22028 | 31.251 | 0.21297 | 0.21296 | tanh | false | 6.7097e-05 | [ 3 144] | | 19 | Accept | 0.21615 | 36.667 | 0.21297 | 0.21399 | tanh | false | 7.8065e-08 | [ 1 197 4] | | 20 | Accept | 0.2651 | 27.152 | 0.21297 | 0.21401 | tanh | false | 3.3248e-09 | [ 6 112] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 21 | Accept | 0.29339 | 19.958 | 0.21297 | 0.21399 | relu | true | 4.2341e-09 | [ 27 10 54] | | 22 | Accept | 0.25556 | 115.66 | 0.21297 | 0.21295 | tanh | false | 3.3922e-09 | [277 228 2] | | 23 | Accept | 0.2136 | 7.7187 | 0.21297 | 0.21294 | tanh | false | 3.9912e-07 | 1 | | 24 | Accept | 0.2918 | 47.115 | 0.21297 | 0.21294 | tanh | false | 3.9317e-08 | [154 20 55] | | 25 | Accept | 0.22123 | 40.451 | 0.21297 | 0.21293 | tanh | false | 0.00066511 | [273 7] | | 26 | Accept | 0.21456 | 8.1443 | 0.21297 | 0.21294 | tanh | true | 1.745e-08 | [ 1 2] | | 27 | Accept | 0.28417 | 121.37 | 0.21297 | 0.21294 | tanh | true | 3.3445e-07 | [271 239 132] | | 28 | Accept | 0.31882 | 34.873 | 0.21297 | 0.21294 | tanh | true | 3.2546e-09 | 259 | | 29 | Accept | 0.21329 | 7.056 | 0.21297 | 0.21294 | tanh | true | 1.4764e-07 | 1 | | 30 | Accept | 0.21488 | 7.9763 | 0.21297 | 0.21293 | tanh | true | 4.2304e-05 | [ 1 3] | | 31 | Accept | 0.28862 | 36.1 | 0.21297 | 0.21293 | tanh | true | 0.0026476 | [ 1 12 193] | | 32 | Accept | 0.23872 | 43.329 | 0.21297 | 0.21293 | tanh | true | 0.00012483 | 291 | | 33 | Accept | 0.21551 | 9.2561 | 0.21297 | 0.21293 | tanh | true | 3.5356e-06 | [ 1 9] | | 34 | Accept | 0.74189 | 0.38512 | 0.21297 | 0.21293 | tanh | true | 5.226 | 284 | | 35 | Accept | 0.2136 | 7.8087 | 0.21297 | 0.21293 | sigmoid | false | 2.953e-08 | 1 | | 36 | Accept | 0.21742 | 6.1235 | 0.21297 | 0.21293 | sigmoid | false | 1.2958e-06 | 2 | | 37 | Accept | 0.2918 | 72.069 | 0.21297 | 0.21303 | sigmoid | false | 1.2858e-07 | [298 128] | | 38 | Accept | 0.74189 | 4.0814 | 0.21297 | 0.21293 | sigmoid | false | 0.00049631 | [ 1 56 285] | | 39 | Accept | 0.21424 | 8.8157 | 0.21297 | 0.21293 | sigmoid | false | 2.3823e-07 | [ 1 2] | | 40 | Accept | 0.21488 | 11.584 | 0.21297 | 0.21293 | sigmoid | false | 3.231e-09 | [ 1 34] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 41 | Accept | 0.21488 | 8.5467 | 0.21297 | 0.21293 | none | false | 3.9919e-09 | [ 1 1] | | 42 | Accept | 0.2206 | 17.637 | 0.21297 | 0.21301 | none | false | 1.4528e-07 | 103 | | 43 | Accept | 0.21964 | 49.16 | 0.21297 | 0.21293 | none | false | 4.0062e-09 | [289 77] | | 44 | Accept | 0.21551 | 8.4409 | 0.21297 | 0.21293 | none | false | 1.8166e-05 | [ 1 7 2] | | 45 | Accept | 0.25302 | 6.8665 | 0.21297 | 0.21293 | none | false | 0.00093672 | [273 5 1] | | 46 | Accept | 0.21901 | 70.44 | 0.21297 | 0.21293 | none | false | 1.0943e-05 | [285 133 97] | | 47 | Accept | 0.74189 | 0.19575 | 0.21297 | 0.213 | none | false | 0.33807 | [ 1 93] | | 48 | Accept | 0.21615 | 33.742 | 0.21297 | 0.21292 | none | false | 3.1207e-08 | [ 2 3 290] | | 49 | Accept | 0.21837 | 21.618 | 0.21297 | 0.213 | none | false | 0.00010795 | [239 5] | | 50 | Accept | 0.21519 | 5.9516 | 0.21297 | 0.21292 | none | false | 1.0462e-06 | 1 | | 51 | Accept | 0.21488 | 13.421 | 0.21297 | 0.21292 | none | true | 3.2351e-09 | [ 66 1] | | 52 | Accept | 0.21519 | 7.0643 | 0.21297 | 0.21292 | none | true | 1.3037e-07 | [ 1 2] | | 53 | Accept | 0.22028 | 33.638 | 0.21297 | 0.213 | none | true | 4.9681e-08 | [272 17 4] | | 54 | Accept | 0.21488 | 2.7953 | 0.21297 | 0.21292 | none | true | 1.1517e-08 | [ 1 18 2] | | 55 | Accept | 0.2206 | 33.822 | 0.21297 | 0.21292 | none | true | 5.4074e-06 | [287 4 11] | | 56 | Accept | 0.22441 | 28.892 | 0.21297 | 0.213 | sigmoid | true | 3.1871e-09 | [ 1 141 5] | | 57 | Accept | 0.28544 | 49.046 | 0.21297 | 0.213 | sigmoid | true | 1.5445e-07 | [271 8 47] | | 58 | Accept | 0.31151 | 42.681 | 0.21297 | 0.213 | sigmoid | true | 3.1992e-09 | 269 | | 59 | Accept | 0.29371 | 58.27 | 0.21297 | 0.213 | relu | false | 3.3691e-09 | [241 91] | | 60 | Accept | 0.74189 | 0.4131 | 0.21297 | 0.21301 | relu | true | 30.931 | [232 6] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 61 | Accept | 0.24348 | 9.6687 | 0.21297 | 0.21291 | sigmoid | true | 5.2088e-08 | [ 1 4 1] | | 62 | Accept | 0.64844 | 2.7232 | 0.21297 | 0.21301 | relu | false | 3.6858e-07 | [ 1 21 1] | | 63 | Accept | 0.21456 | 32.99 | 0.21297 | 0.21291 | none | true | 3.6582e-06 | [ 1 80 188] | | 64 | Best | 0.21265 | 18.62 | 0.21265 | 0.21267 | sigmoid | true | 9.6673e-06 | [ 1 75] | | 65 | Accept | 0.226 | 11.419 | 0.21265 | 0.21268 | sigmoid | true | 1.5077e-06 | [ 1 24 1] | | 66 | Accept | 0.23331 | 102.48 | 0.21265 | 0.21268 | sigmoid | true | 1.5026e-05 | [287 214 74] | | 67 | Accept | 0.2206 | 30.992 | 0.21265 | 0.21267 | none | true | 7.5629e-07 | [ 34 2 264] | | 68 | Accept | 0.21869 | 4.3461 | 0.21265 | 0.21268 | none | true | 6.758e-05 | [ 1 1 1] | | 69 | Accept | 0.21869 | 51.008 | 0.21265 | 0.21268 | none | true | 6.1541e-05 | [175 23 253] | | 70 | Accept | 0.21519 | 46.352 | 0.21265 | 0.21267 | sigmoid | false | 5.8406e-07 | [ 1 12 288] | | 71 | Accept | 0.74189 | 0.35284 | 0.21265 | 0.21268 | sigmoid | false | 31.7 | [151 36] | | 72 | Accept | 0.29625 | 5.4205 | 0.21265 | 0.21268 | sigmoid | true | 0.00015423 | [ 1 35] | | 73 | Accept | 0.21647 | 2.6142 | 0.21265 | 0.21268 | none | false | 0.00024113 | [ 1 35] | | 74 | Accept | 0.21901 | 76.616 | 0.21265 | 0.2127 | none | true | 2.0906e-05 | [ 6 235 284] | | 75 | Accept | 0.2171 | 32.606 | 0.21265 | 0.21268 | none | false | 0.00010157 | [ 6 5 298] | | 76 | Accept | 0.21996 | 9.2912 | 0.21265 | 0.21268 | tanh | true | 0.00023083 | [ 1 13] | | 77 | Accept | 0.74189 | 0.32671 | 0.21265 | 0.21269 | none | true | 31.208 | 222 | | 78 | Accept | 0.21519 | 35.616 | 0.21265 | 0.21269 | tanh | false | 4.4635e-06 | [ 1 7 151] | | 79 | Accept | 0.21392 | 9.7813 | 0.21265 | 0.21269 | relu | true | 1.5577e-08 | [ 1 21] | | 80 | Accept | 0.21488 | 21.138 | 0.21265 | 0.21269 | none | false | 2.1706e-07 | [ 1 185] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 81 | Accept | 0.21424 | 69.272 | 0.21265 | 0.21118 | tanh | false | 5.8903e-07 | [ 1 230 101] | | 82 | Accept | 0.21488 | 27.59 | 0.21265 | 0.21113 | none | true | 9.4233e-09 | [222 2] | | 83 | Accept | 0.21933 | 52.768 | 0.21265 | 0.21112 | none | false | 1.0916e-06 | [274 12 211] | | 84 | Accept | 0.21456 | 43.454 | 0.21265 | 0.21106 | tanh | true | 4.2988e-08 | [ 1 4 247] | | 85 | Accept | 0.21488 | 9.6532 | 0.21265 | 0.21103 | tanh | true | 3.2433e-09 | [ 1 4 2] | | 86 | Accept | 0.21424 | 7.4065 | 0.21265 | 0.21104 | tanh | true | 6.8749e-07 | 1 | | 87 | Accept | 0.25366 | 47.819 | 0.21265 | 0.21106 | sigmoid | false | 3.6866e-09 | [292 20] | | 88 | Accept | 0.2225 | 13.107 | 0.21265 | 0.21108 | none | true | 0.00035663 | [235 12] | | 89 | Accept | 0.21805 | 1.9952 | 0.21265 | 0.21114 | none | true | 0.00036004 | [ 1 2] | | 90 | Accept | 0.74189 | 0.96416 | 0.21265 | 0.21112 | relu | false | 30.55 | [275 169 155] | | 91 | Accept | 0.21488 | 5.7708 | 0.21265 | 0.21119 | none | true | 3.2456e-09 | [ 1 238 31] | | 92 | Accept | 0.21392 | 31.018 | 0.21265 | 0.21122 | sigmoid | false | 9.3344e-09 | [ 1 185] | | 93 | Accept | 0.21488 | 8.0701 | 0.21265 | 0.21236 | relu | true | 6.5865e-09 | 1 | | 94 | Accept | 0.34298 | 1.3016 | 0.21265 | 0.21267 | tanh | false | 0.00020571 | 1 | | 95 | Accept | 0.29784 | 87.985 | 0.21265 | 0.21269 | tanh | false | 2.0857e-05 | [ 15 297 124] | | 96 | Accept | 0.33153 | 30.766 | 0.21265 | 0.21302 | tanh | false | 0.00021639 | [ 4 135 1] | | 97 | Accept | 0.21519 | 20.949 | 0.21265 | 0.21299 | tanh | true | 2.1898e-05 | [ 1 9 57] | | 98 | Accept | 0.21996 | 51.698 | 0.21265 | 0.21389 | none | false | 3.8536e-05 | [270 139] | | 99 | Best | 0.21202 | 49.605 | 0.21202 | 0.21386 | none | false | 1.7719e-08 | [280 59 2] | | 100 | Accept | 0.21488 | 3.0963 | 0.21202 | 0.21383 | none | false | 1.9173e-08 | 1 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 100 reached.
Total function evaluations: 100
Total elapsed time: 2577.3756 seconds
Total objective function evaluation time: 2526.3743
Best observed feasible point:
Activations Standardize Lambda LayerSizes
___________ ___________ __________ _________________
none false 1.7719e-08 280 59 2
Observed objective function value = 0.21202
Estimated objective function value = 0.21541
Function evaluation time = 49.6049
Best estimated feasible point (according to models):
Activations Standardize Lambda LayerSizes
___________ ___________ __________ _______________
none false 0.00010157 6 5 298
Estimated objective function value = 0.21383
Estimated function evaluation time = 32.5882
Mdl =
ClassificationNeuralNetwork
PredictorNames: {'WC_TA' 'RE_TA' 'EBIT_TA' 'MVE_BVTD' 'S_TA' 'Industry'}
ResponseName: 'Rating'
CategoricalPredictors: 6
ClassNames: [AAA AA A BBB BB B CCC]
ScoreTransform: 'none'
NumObservations: 3146
HyperparameterOptimizationResults: [1×1 BayesianOptimization]
LayerSizes: [6 5 298]
Activations: 'none'
OutputLayerActivation: 'softmax'
Solver: 'LBFGS'
ConvergenceInfo: [1×1 struct]
TrainingHistory: [1000×7 table]
Properties, Methods
Mdl は学習させた ClassificationNeuralNetwork 分類器です。このモデルは、最適な観測実行可能点ではなく、最適な推定実行可能点に対応します (この区分の詳細については、bestPoint を参照してください)。ドット表記を使用して Mdl のプロパティにアクセスできます。たとえば、Mdl.HyperparameterOptimizationResults と指定すると、ニューラル ネットワーク モデルの最適化についての詳細情報を取得できます。
検定データ セットで、モデルの分類精度を求めます。混同行列を使用して結果を可視化します。
modelAccuracy = 1 - loss(Mdl,creditTest,"Rating", ... "LossFun","classiferror")
modelAccuracy = 0.8041
confusionchart(creditTest.Rating,predict(Mdl,creditTest))
このモデルでは、真のクラスから 1 単位以内にすべての予測クラスが含まれています。つまり、すべての予測で格付けが 1 つしか離れていません。
ニューラル ネットワーク分類器の最適化のカスタマイズ
OptimizeHyperparameters 引数を使用してニューラル ネットワーク分類器に学習させ、結果の分類器の精度を改善します。関数 hyperparameters を使用して、使用する層数および層のサイズの範囲に既定より大きい値を指定します。
標本ファイル CreditRating_Historical.dat を table に読み取ります。予測子データは、法人顧客リストの財務比率と業種の情報で構成されます。応答変数は、格付機関が割り当てた格付けから構成されます。
creditrating = readtable("CreditRating_Historical.dat");変数 ID の各値は一意の顧客 ID であるため (つまり、length(unique(creditrating.ID)) は creditrating に含まれる観測値の数に等しい)、変数 ID は予測子としては適切ではありません。変数 ID を table から削除し、変数 Industry を categorical 変数に変換します。
creditrating = removevars(creditrating,"ID");
creditrating.Industry = categorical(creditrating.Industry);応答変数 Rating を順序 categorical 変数に変換します。
creditrating.Rating = categorical(creditrating.Rating, ... ["AAA","AA","A","BBB","BB","B","CCC"],"Ordinal",true);
データを学習セットと検定セットに分割します。観測値の約 80% をニューラル ネットワーク モデルの学習に使用し、観測値の約 20% を学習済みモデルの新しいデータでの性能の検定に使用します。cvpartition を使用してデータを分割します。
rng("default") % For reproducibility of the partition c = cvpartition(creditrating.Rating,"Holdout",0.20); trainingIndices = training(c); % Indices for the training set testIndices = test(c); % Indices for the test set creditTrain = creditrating(trainingIndices,:); creditTest = creditrating(testIndices,:);
Rating 応答を当てはめるこの問題に利用可能なハイパーパラメーターをリストします。
params = hyperparameters("fitcnet",creditTrain,"Rating"); for ii = 1:length(params) disp(ii);disp(params(ii)) end
1
optimizableVariable with properties:
Name: 'NumLayers'
Range: [1 3]
Type: 'integer'
Transform: 'none'
Optimize: 1
2
optimizableVariable with properties:
Name: 'Activations'
Range: {'relu' 'tanh' 'sigmoid' 'none'}
Type: 'categorical'
Transform: 'none'
Optimize: 1
3
optimizableVariable with properties:
Name: 'Standardize'
Range: {'true' 'false'}
Type: 'categorical'
Transform: 'none'
Optimize: 1
4
optimizableVariable with properties:
Name: 'Lambda'
Range: [3.1786e-09 31.7864]
Type: 'real'
Transform: 'log'
Optimize: 1
5
optimizableVariable with properties:
Name: 'LayerWeightsInitializer'
Range: {'glorot' 'he'}
Type: 'categorical'
Transform: 'none'
Optimize: 0
6
optimizableVariable with properties:
Name: 'LayerBiasesInitializer'
Range: {'zeros' 'ones'}
Type: 'categorical'
Transform: 'none'
Optimize: 0
7
optimizableVariable with properties:
Name: 'Layer_1_Size'
Range: [1 300]
Type: 'integer'
Transform: 'log'
Optimize: 1
8
optimizableVariable with properties:
Name: 'Layer_2_Size'
Range: [1 300]
Type: 'integer'
Transform: 'log'
Optimize: 1
9
optimizableVariable with properties:
Name: 'Layer_3_Size'
Range: [1 300]
Type: 'integer'
Transform: 'log'
Optimize: 1
10
optimizableVariable with properties:
Name: 'Layer_4_Size'
Range: [1 300]
Type: 'integer'
Transform: 'log'
Optimize: 0
11
optimizableVariable with properties:
Name: 'Layer_5_Size'
Range: [1 300]
Type: 'integer'
Transform: 'log'
Optimize: 0
既定の 1 ～ 3 より多くの層を試すために、NumLayers (最適化可能な変数 1) の範囲を許容される最大サイズ [1 5] に設定します。また、Layer_4_Size および Layer_5_Size (それぞれ最適化可能な変数 10 および 11) を最適化されるように設定します。
params(1).Range = [1 5]; params(10).Optimize = true; params(11).Optimize = true;
すべての層のサイズは、範囲 (最適化可能な変数 7 ～ 11) を既定値 [1 300] ではなく [1 400] に設定します。
for ii = 7:11 params(ii).Range = [1 400]; end
学習データ creditTrain を関数 fitcnet に渡してニューラル ネットワーク分類器に学習させ、params に設定した OptimizeHyperparameters 引数を含めます。再現性を得るために、HyperparameterOptimizationOptions 構造体 の AcquisitionFunctionName を "expected-improvement-plus" に設定します。より適切な解を得るために、最適化のステップ数を既定値の 30 ではなく 100 に設定します。
rng("default") % For reproducibility Mdl = fitcnet(creditTrain,"Rating","OptimizeHyperparameters",params, ... "HyperparameterOptimizationOptions", ... struct("AcquisitionFunctionName","expected-improvement-plus", ... "MaxObjectiveEvaluations",100))
|============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 1 | Best | 0.74189 | 2.2062 | 0.74189 | 0.74189 | sigmoid | true | 0.68961 | [104 1 5 3 1] | | 2 | Best | 0.2225 | 70.081 | 0.2225 | 0.24316 | relu | true | 0.00058564 | [ 38 208 162] | | 3 | Accept | 0.63891 | 13.086 | 0.2225 | 0.22698 | sigmoid | true | 1.9768e-06 | [ 1 25 1 287 7] | | 4 | Best | 0.21933 | 33.886 | 0.21933 | 0.22307 | none | false | 1.3353e-06 | 320 | | 5 | Accept | 0.74189 | 0.27024 | 0.21933 | 0.21936 | relu | true | 2.7056 | [ 1 2 1] | | 6 | Accept | 0.29148 | 96.764 | 0.21933 | 0.21936 | relu | true | 1.0503e-06 | [301 31 400] | | 7 | Accept | 0.6869 | 4.2153 | 0.21933 | 0.21936 | relu | true | 0.0113 | [ 97 5 56] | | 8 | Accept | 0.74189 | 0.28736 | 0.21933 | 0.21936 | relu | true | 0.053563 | [ 2 92 1] | | 9 | Accept | 0.25238 | 74.737 | 0.21933 | 0.2221 | relu | true | 0.00010812 | [ 8 137 232] | | 10 | Accept | 0.29784 | 213.19 | 0.21933 | 0.21936 | relu | true | 2.3488e-07 | [ 30 397 364] | | 11 | Accept | 0.74189 | 0.27991 | 0.21933 | 0.21936 | none | true | 10.18 | 204 | | 12 | Best | 0.21392 | 35.925 | 0.21392 | 0.21395 | none | false | 3.4691e-06 | [ 7 355 2] | | 13 | Accept | 0.74189 | 0.82149 | 0.21392 | 0.21395 | none | false | 31.657 | [193 53 5 90 355] | | 14 | Accept | 0.21488 | 45.397 | 0.21392 | 0.21443 | none | false | 8.607e-06 | [126 80 2 86 2] | | 15 | Accept | 0.2349 | 60.527 | 0.21392 | 0.21443 | relu | false | 9.4208e-06 | [ 38 6 379 4] | | 16 | Accept | 0.21901 | 46.638 | 0.21392 | 0.21443 | relu | false | 0.0018197 | [ 6 20 205 30 51] | | 17 | Accept | 0.22282 | 68.41 | 0.21392 | 0.21443 | relu | false | 1.2196e-07 | [ 5 3 91 45 163] | | 18 | Accept | 0.74189 | 1.5076 | 0.21392 | 0.21387 | relu | false | 10.565 | [394 397 39] | | 19 | Accept | 0.24348 | 57.89 | 0.21392 | 0.21442 | relu | false | 2.7033e-08 | [ 52 49 195 11 2] | | 20 | Accept | 0.21933 | 54.865 | 0.21392 | 0.21411 | relu | false | 5.3281e-09 | [ 4 26 276 4] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 21 | Accept | 0.21583 | 101.52 | 0.21392 | 0.21413 | relu | false | 0.00095213 | [ 98 25 120 70 321] | | 22 | Accept | 0.74189 | 1.1203 | 0.21392 | 0.21413 | tanh | false | 10.324 | [ 5 19 325 100 286] | | 23 | Accept | 0.2225 | 76.344 | 0.21392 | 0.21413 | tanh | true | 3.1717e-07 | [ 4 3 400] | | 24 | Accept | 0.21996 | 39.348 | 0.21392 | 0.21412 | tanh | true | 6.0973e-06 | [ 6 3 202 2] | | 25 | Accept | 0.74189 | 0.70734 | 0.21392 | 0.21389 | tanh | true | 0.47944 | [ 91 21 276 10 202] | | 26 | Accept | 0.6424 | 7.8651 | 0.21392 | 0.21391 | relu | true | 4.153e-06 | [ 27 1 208 1 20] | | 27 | Accept | 0.23808 | 124.09 | 0.21392 | 0.21391 | relu | false | 4.7143e-07 | [116 111 327 4 9] | | 28 | Accept | 0.21869 | 59.477 | 0.21392 | 0.21394 | none | false | 0.00020517 | [213 245 1 45 6] | | 29 | Accept | 0.74189 | 0.84795 | 0.21392 | 0.21394 | tanh | true | 0.066046 | [ 2 222 63] | | 30 | Accept | 0.23013 | 44.975 | 0.21392 | 0.21394 | tanh | true | 1.6445e-07 | [184 1 32 21] | | 31 | Accept | 0.21583 | 30.499 | 0.21392 | 0.214 | none | false | 8.3607e-09 | [172 13 1] | | 32 | Accept | 0.29021 | 162.91 | 0.21392 | 0.2114 | relu | true | 0.0054118 | [ 79 385 325] | | 33 | Accept | 0.22028 | 7.3966 | 0.21392 | 0.21435 | none | false | 6.2688e-07 | [ 5 13] | | 34 | Accept | 0.21488 | 4.797 | 0.21392 | 0.21359 | none | false | 2.5162e-08 | [ 1 1 17] | | 35 | Accept | 0.21805 | 10.065 | 0.21392 | 0.21515 | relu | false | 3.3182e-05 | [ 6 5 3 13] | | 36 | Accept | 0.23268 | 9.1618 | 0.21392 | 0.21493 | relu | false | 3.9676e-09 | [ 36 4] | | 37 | Accept | 0.21519 | 44.065 | 0.21392 | 0.21394 | none | false | 2.1955e-07 | [ 16 34 350 4 31] | | 38 | Accept | 0.33249 | 26.542 | 0.21392 | 0.21231 | relu | false | 0.0010092 | [ 24 1 207] | | 39 | Accept | 0.21583 | 21.537 | 0.21392 | 0.21394 | relu | false | 2.5221e-05 | [ 1 95] | | 40 | Accept | 0.22123 | 89.369 | 0.21392 | 0.21394 | relu | true | 0.0002332 | [ 5 392 160] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 41 | Accept | 0.28894 | 229.82 | 0.21392 | 0.21393 | relu | true | 5.2515e-05 | [153 394 315] | | 42 | Accept | 0.22123 | 166.4 | 0.21392 | 0.21393 | none | false | 4.1509e-09 | [235 399 62 148] | | 43 | Accept | 0.27654 | 19.776 | 0.21392 | 0.21392 | relu | false | 1.1969e-06 | [ 75 18] | | 44 | Accept | 0.2705 | 91.89 | 0.21392 | 0.21393 | relu | false | 3.9338e-09 | [ 78 387 42 65] | | 45 | Accept | 0.21678 | 159.34 | 0.21392 | 0.21396 | none | false | 3.3979e-05 | [ 2 350 376 2] | | 46 | Accept | 0.21678 | 5.3698 | 0.21392 | 0.21396 | none | false | 0.00019489 | [ 10 4] | | 47 | Best | 0.2136 | 40.323 | 0.2136 | 0.21359 | none | false | 5.8608e-08 | [ 21 382 2] | | 48 | Accept | 0.22918 | 18.359 | 0.2136 | 0.21359 | relu | true | 3.1819e-09 | [ 3 71] | | 49 | Accept | 0.27591 | 81.573 | 0.2136 | 0.21359 | relu | false | 8.1967e-06 | [ 55 388 56] | | 50 | Accept | 0.29593 | 10.722 | 0.2136 | 0.21359 | tanh | true | 2.5573e-06 | 28 | | 51 | Accept | 0.31532 | 81.712 | 0.2136 | 0.21361 | tanh | true | 1.7419e-06 | [216 24 25 62 94] | | 52 | Accept | 0.21869 | 46.876 | 0.2136 | 0.21361 | relu | false | 3.3288e-09 | [ 25 1 310] | | 53 | Accept | 0.21837 | 44.823 | 0.2136 | 0.21359 | none | false | 1.3416e-05 | [ 2 2 386 33] | | 54 | Accept | 0.23872 | 86.465 | 0.2136 | 0.21359 | tanh | true | 3.1991e-09 | [ 9 2 233 13 297] | | 55 | Accept | 0.21742 | 22.42 | 0.2136 | 0.21359 | none | false | 0.00017978 | [346 36] | | 56 | Accept | 0.3506 | 53.374 | 0.2136 | 0.2136 | relu | false | 8.9375e-08 | [213 1 22 222] | | 57 | Accept | 0.21583 | 47.939 | 0.2136 | 0.2136 | relu | false | 4.0858e-09 | [ 1 20 75 7 160] | | 58 | Accept | 0.25048 | 63.899 | 0.2136 | 0.2136 | relu | false | 1.8367e-05 | [133 18 5 8 265] | | 59 | Accept | 0.21392 | 24.587 | 0.2136 | 0.2136 | relu | false | 0.00025743 | [ 4 49 78] | | 60 | Accept | 0.21996 | 57.638 | 0.2136 | 0.21361 | none | false | 6.077e-09 | [ 18 2 199 34 291] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 61 | Accept | 0.21837 | 52.847 | 0.2136 | 0.21359 | none | false | 4.7921e-05 | [ 53 3 5 33 388] | | 62 | Accept | 0.22028 | 46.08 | 0.2136 | 0.21359 | none | false | 4.2742e-09 | [206 87 9 20 39] | | 63 | Accept | 0.21774 | 15.034 | 0.2136 | 0.21359 | none | false | 1.0053e-07 | [ 68 3] | | 64 | Accept | 0.23554 | 68.289 | 0.2136 | 0.21359 | relu | true | 3.3518e-09 | [ 3 389 60] | | 65 | Accept | 0.22759 | 2.6688 | 0.2136 | 0.2136 | none | false | 0.00079006 | 64 | | 66 | Accept | 0.22187 | 55.67 | 0.2136 | 0.2136 | relu | false | 4.3532e-07 | [ 1 11 383] | | 67 | Accept | 0.21805 | 113.63 | 0.2136 | 0.21359 | relu | false | 3.3578e-09 | [ 4 4 384 244] | | 68 | Accept | 0.21742 | 39.749 | 0.2136 | 0.21359 | relu | false | 0.00042226 | [ 27 7 13 237] | | 69 | Accept | 0.29911 | 22.327 | 0.2136 | 0.2136 | sigmoid | false | 3.1977e-09 | [ 66 31] | | 70 | Accept | 0.28544 | 17.354 | 0.2136 | 0.21359 | sigmoid | false | 2.1618e-07 | 59 | | 71 | Accept | 0.4342 | 17.862 | 0.2136 | 0.2136 | sigmoid | false | 1.1526e-05 | [ 53 28 9 27 2] | | 72 | Accept | 0.24793 | 41.903 | 0.2136 | 0.21359 | sigmoid | false | 3.2532e-09 | 280 | | 73 | Accept | 0.74189 | 0.24831 | 0.2136 | 0.21359 | sigmoid | false | 29.321 | [ 58 1 5 3] | | 74 | Accept | 0.21805 | 11.378 | 0.2136 | 0.21359 | relu | false | 5.0967e-08 | [ 1 5 42] | | 75 | Accept | 0.21964 | 16.802 | 0.2136 | 0.2136 | none | true | 3.3747e-09 | [ 56 273] | | 76 | Accept | 0.21488 | 1.4504 | 0.2136 | 0.21359 | none | true | 3.6101e-09 | [ 1 19] | | 77 | Accept | 0.21456 | 9.5126 | 0.2136 | 0.2136 | none | true | 1.8426e-07 | [ 1 76 2] | | 78 | Accept | 0.21488 | 25.866 | 0.2136 | 0.21359 | none | true | 1.9217e-07 | [ 1 3 322 5] | | 79 | Accept | 0.21996 | 7.2836 | 0.2136 | 0.20963 | none | true | 3.5146e-09 | 182 | | 80 | Accept | 0.21996 | 26.22 | 0.2136 | 0.20986 | none | true | 1.9249e-08 | [ 51 79 345] | |============================================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Activations | Standardize | Lambda | LayerSizes | | | result | | runtime | (observed) | (estim.) | | | | | |============================================================================================================================================| | 81 | Accept | 0.21996 | 16.72 | 0.2136 | 0.20976 | none | true | 5.6038e-08 | [269 6] | | 82 | Accept | 0.21837 | 67.424 | 0.2136 | 0.21359 | none | true | 2.2486e-05 | [ 15 334 161] | | 83 | Accept | 0.21901 | 52.193 | 0.2136 | 0.2136 | none | true | 2.325e-07 | [ 43 397 22 5 4] | | 84 | Accept | 0.2136 | 25.949 | 0.2136 | 0.20893 | none | true | 1.4375e-05 | [ 3 23 161] | | 85 | Accept | 0.22568 | 9.2788 | 0.2136 | 0.21359 | relu | false | 0.00036954 | [ 1 25] | | 86 | Accept | 0.22123 | 9.0294 | 0.2136 | 0.2139 | none | true | 8.9433e-06 | 63 | | 87 | Accept | 0.21551 | 73.231 | 0.2136 | 0.20857 | relu | false | 0.00013186 | [ 1 10 235 79 56] | | 88 | Accept | 0.21996 | 45.161 | 0.2136 | 0.21359 | none | true | 4.6415e-06 | [274 61] | | 89 | Accept | 0.24253 | 35.809 | 0.2136 | 0.21359 | none | true | 0.0043392 | [105 351 3 2 244] | | 90 | Accept | 0.21392 | 26.066 | 0.2136 | 0.21359 | none | true | 0.0004037 | [ 68 57 5 189] | | 91 | Accept | 0.24634 | 8.1577 | 0.2136 | 0.21359 | tanh | false | 3.2373e-09 | 11 | | 92 | Accept | 0.23713 | 60.74 | 0.2136 | 0.2136 | tanh | false | 3.2168e-09 | [ 7 32 316 6] | | 93 | Accept | 0.23331 | 46.265 | 0.2136 | 0.2136 | tanh | false | 2.7471e-07 | [ 7 6 6 255] | | 94 | Accept | 0.22791 | 238.99 | 0.2136 | 0.2136 | tanh | false | 2.4117e-07 | [ 2 386 364 66] | | 95 | Accept | 0.30769 | 66.556 | 0.2136 | 0.2136 | relu | true | 3.2605e-09 | [380 72] | | 96 | Accept | 0.30038 | 70.252 | 0.2136 | 0.2136 | tanh | false | 9.629e-08 | [346 55] | | 97 | Accept | 0.2136 | 240.45 | 0.2136 | 0.21358 | tanh | false | 3.0728e-08 | [ 1 9 319 337 168] | | 98 | Accept | 0.21488 | 8.1832 | 0.2136 | 0.21358 | none | false | 4.8562e-09 | [ 1 108] | | 99 | Accept | 0.31945 | 33.121 | 0.2136 | 0.20612 | relu | false | 5.058e-07 | [ 1 214 6 2 13] | | 100 | Accept | 0.23299 | 79.247 | 0.2136 | 0.2058 | tanh | false | 1.4126e-07 | [204 1 298 3] |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 100 reached.
Total function evaluations: 100
Total elapsed time: 4964.939 seconds
Total objective function evaluation time: 4901.9365
Best observed feasible point:
Activations Standardize Lambda LayerSizes
___________ ___________ __________ ________________
none false 5.8608e-08 21 382 2
Observed objective function value = 0.2136
Estimated objective function value = 0.21443
Function evaluation time = 40.3226
Best estimated feasible point (according to models):
Activations Standardize Lambda LayerSizes
___________ ___________ __________ _____________
relu false 0.00025743 4 49 78
Estimated objective function value = 0.2058
Estimated function evaluation time = 25.2207
Mdl =
ClassificationNeuralNetwork
PredictorNames: {'WC_TA' 'RE_TA' 'EBIT_TA' 'MVE_BVTD' 'S_TA' 'Industry'}
ResponseName: 'Rating'
CategoricalPredictors: 6
ClassNames: [AAA AA A BBB BB B CCC]
ScoreTransform: 'none'
NumObservations: 3146
HyperparameterOptimizationResults: [1×1 BayesianOptimization]
LayerSizes: [4 49 78]
Activations: 'relu'
OutputLayerActivation: 'softmax'
Solver: 'LBFGS'
ConvergenceInfo: [1×1 struct]
TrainingHistory: [1000×7 table]
Properties, Methods
検定データ セットで、モデルの分類精度を求めます。混同行列を使用して結果を可視化します。
testAccuracy = 1 - loss(Mdl,creditTest,"Rating", ... "LossFun","classiferror")
testAccuracy = 0.8117
confusionchart(creditTest.Rating,predict(Mdl,creditTest))
このモデルでは、真のクラスから 1 単位以内にすべての予測クラスが含まれています。つまり、すべての予測で格付けが 1 つしか離れていません。
入力引数
出力引数
詳細
ニューラル ネットワークの構造
既定のニューラル ネットワーク分類器の層構造は次のとおりです。
| 構造 | 説明 |
|---|---|
|
| 入力 — この層は Tbl または X の予測子データに対応します。 |
最初の全結合層 — この層の出力数は既定では 10 です。
| |
ReLU 活性化関数 — この活性化関数は
| |
最終全結合層 — この層の出力数は K で、K は応答変数内のクラス数です。
| |
ソフトマックス関数 (バイナリ分類とマルチクラス分類の両方) — この活性化関数は 結果は予測分類スコア (または事後確率) に対応します。 | |
| 出力 — この層は予測クラス ラベルに対応します。 |
この層構造のニューラル ネットワーク分類器で予測を返す例については、ニューラル ネットワーク分類器の層の構造を使用した予測を参照してください。
ヒント
数値予測子は可能であれば常に標準化します (
Standardizeを参照)。標準化を行うと、予測子を測定するスケールの影響を受けなくなります。モデルに学習をさせた後で、新しいデータについてラベルを予測する C/C++ コードを生成できます。C/C++ コードの生成には MATLAB Coder™ が必要です。詳細については、コード生成の紹介を参照してください。
アルゴリズム
参照
[1] Glorot, Xavier, and Yoshua Bengio. “Understanding the difficulty of training deep feedforward neural networks.” In Proceedings of the thirteenth international conference on artificial intelligence and statistics, pp. 249–256. 2010.
[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification.” In Proceedings of the IEEE international conference on computer vision, pp. 1026–1034. 2015.
[3] Nocedal, J. and S. J. Wright. Numerical Optimization, 2nd ed., New York: Springer, 2006.
拡張機能
バージョン履歴
R2021a で導入
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)