分類器のvalidation accuracyはなぜ毎回異なるのか

プログラミング初心者です。

下記リンクを参考にコンパイルしてみたところ、varidation accuracyが毎回コンパイル毎に異なります。

リンク：https://jp.mathworks.com/help/deeplearning/examples/create-simple-deep-learning-network-for-classification.html?lang=en

CNNに再現性はないのかなと不安になっておりますので、ご教示いただけますと幸いです。

Answer 1

[Shunichi Kusano]

精度が毎回変わるのは、学習用のデータと検証用のデータが毎回ランダムに変わるためだと思います。

[imdsTrain,imdsValidation] = splitEachLabel(imds,numTrainFiles,'randomize'); % ここのことです

用意したサンプルデータが十分でかつ偏りがなければ、毎回大体同じ値になることが期待されます。

通常は学習用のデータと検証用のデータをとっかえひっかえしながら何回か検証して、それらの平均精度で手を打ちます。交差検証法というので勉強してみるといいと思います。

[Tohru Kikawada]

値が毎回異なるのは乱数発生に使うシードが異なっているためです。実行毎に乱数のシードを同じにすれば同じ結果が得られます。詳細はrng を参照してみてください。

>> openExample('nnet/TrainABasicConvolutionalNeuralNetworkForClassificationExample')
>> TrainABasicConvolutionalNeuralNetworkForClassificationExample
>> accuracy
accuracy =
    0.9976
>> TrainABasicConvolutionalNeuralNetworkForClassificationExample % 乱数のシードが変わっている
accuracy =
    0.9944
>> rng('default'); % 乱数のシードを常に初期値にする
>> TrainABasicConvolutionalNeuralNetworkForClassificationExample
accuracy =
    0.9976
>> rng('default'); % 乱数のシードを常に初期値にする
>> TrainABasicConvolutionalNeuralNetworkForClassificationExample
accuracy =
    0.9976
>> % 値が一致する