ドキュメンテーション

最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

カスタム層の有効性のチェック

カスタム深層学習層を作成する場合、関数 checkLayer を使用して、層が有効であることをチェックできます。この関数は、層について有効性、GPU 互換性、勾配定義の正しさをチェックします。層が有効であることをチェックするには、次のコマンドを実行します。

checkLayer(layer,validInputSize,'ObservationDimension',dim)
ここで、layer は層のインスタンス、validInputSize は層に有効な入力サイズを指定するベクトルであり、dim は層の入力データにおける観測値の次元を指定します。入力サイズが大きい場合、勾配チェックの実行に時間がかかります。テストを高速化するには、指定する有効な入力サイズを小さくします。

層の有効性のチェック

ライブ スクリプトを開く

例のカスタム層 preluLayer の有効性をチェックします。

カスタム PReLU 層を定義します。この層を作成するには、ファイル preluLayer.m を現在のフォルダーに保存します。

層のインスタンスを作成し、checkLayer を使用して、それが有効であることをチェックします。有効な入力サイズを、層への 1 つの観測値入力の典型的なサイズに設定します。層にはサイズ h x w x c の入力が必要です。h、w、および c は、それぞれ前の層出力の高さ、幅、およびチャネル数です。

validInputSize を 3 次元配列入力の典型的なサイズとして指定します。

layer = preluLayer(20,'prelu');
validInputSize = [5 5 20];
checkLayer(layer,validInputSize)
Skipping multi-observation tests. To enable tests with multiple observations, specify the 'ObservationDimension' parameter in checkLayer.
For layers used in convolutional neural networks, set 'ObservationDimension' to be 4.
For layers used in recurrent neural networks, set 'ObservationDimension' to be 2.
 
Skipping GPU tests. No compatible GPU device found.
 
Running nnet.checklayer.TestCase
.......... .
Done nnet.checklayer.TestCase
__________

Test Summary:
	 11 Passed, 0 Failed, 0 Incomplete, 10 Skipped.
	 Time elapsed: 2.84 seconds.

この結果は、パスしたテスト、失敗したテスト、およびスキップされたテストの数を示しています。スキップされたテストにより、層で複数の観測値を使用できるかどうかがチェックされます。この層が複数の観測値で有効であることをチェックするには、'ObservationsDimension' オプションを使用します。

複数の観測値のチェック

既定の設定で、組み込みの層は、サイズ h x w x c x N の 4 次元配列を出力します。ただし、LSTM 層およびシーケンス入力層は、D x N x S の 3 次元配列を出力します。

これらの次元は以下に対応します。

  • h – 出力の高さ

  • w – 出力の幅

  • c – 出力内のチャネル数

  • N – ミニバッチのサイズ

  • D – シーケンスの特徴次元

  • S – シーケンス長

層 preluLayer には前の層からの 4 次元配列を入力する必要があり、4 番目の次元で観測値がインデックス化されます。観測値 (3 次元配列) の典型的なサイズを指定し、'ObservationDimension' を 4 に設定します。

layer = preluLayer(20,'prelu');
validInputSize = [5 5 20];
checkLayer(layer,validInputSize,'ObservationDimension',4)
Skipping GPU tests. No compatible GPU device found.
 
Running nnet.checklayer.TestCase
.......... .....
Done nnet.checklayer.TestCase
__________

Test Summary:
	 15 Passed, 0 Failed, 0 Incomplete, 6 Skipped.
	 Time elapsed: 2.7342 seconds.

この関数では層に関する問題はまったく検出されていません。

テストの一覧

関数 checkLayer は、一連のテストを実行して、カスタム層の有効性をチェックします。

中間層

関数 checkLayer は、以下のテストを使用してカスタム層 (タイプ nnet.layer.Layer の層) の有効性をチェックします。

テスト説明
predictDoesNotErrorpredict でエラーが発生しません。
forwardDoesNotError

forward でエラーが発生しません。

forward を実装していない場合、checkLayer はこのテストを実行しません。

backwardDoesNotErrorbackward でエラーが発生しません。
backwardIsConsistentInSizebackward の出力がサイズにおいて次に整合します。dLdX は X と同じサイズで、各微分 dLdW は対応する重み W と同じサイズです。
predictIsConsistentInType

predict の出力が型において次に整合します。Z は X と同じ型です。

このテストは GPU 互換性もチェックします。層関数を GPU で実行するには、これらの関数が、基となるデータ型が single である gpuArray 型の入力と出力をサポートしていなければなりません。

forwardIsConsistentInType

forward の出力が型において次に整合します。Z は X と同じ型です。

forward を実装していない場合、checkLayer はこのテストを実行しません。

このテストは GPU 互換性もチェックします。層関数を GPU で実行するには、これらの関数が、基となるデータ型が single である gpuArray 型の入力と出力をサポートしていなければなりません。

backwardIsConsistentInType

backward の出力が型において次に整合します。dLdX は X と同じ型で、各微分 dLdW は対応する重み W と同じ型です。

このテストは GPU 互換性もチェックします。層関数を GPU で実行するには、これらの関数が、基となるデータ型が single である gpuArray 型の入力と出力をサポートしていなければなりません。

gradientsAreNumericallyCorrectbackward で計算された勾配が数値勾配と整合します。

出力層

関数 checkLayer は、以下のテストを使用してカスタム出力層 (タイプ nnet.layer.ClassificationLayer または nnet.layer.RegressionLayer の層) の有効性をチェックします。

テスト説明
forwardLossDoesNotErrorforwardLoss でエラーが発生しません。
backwardLossDoesNotErrorbackwardLoss でエラーが発生しません。
forwardLossIsScalarforwardLoss の出力がスカラーです。
backwardLossIsConsistentInSizebackwardLoss の出力がサイズにおいて次に整合します。dLdY は予測 Y と同じサイズです。
forwardLossIsConsistentInType

forwardLoss の出力が型において次に整合します。loss は予測 Y と同じ型です。

このテストは GPU 互換性もチェックします。層関数を GPU で実行するには、これらの関数が、基となるデータ型が single である gpuArray 型の入力と出力をサポートしていなければなりません。

backwardLossIsConsistentInType

backwardLoss の出力が型において次に整合します。dLdY は予測 Y と同じ型でなければなりません。

このテストは GPU 互換性もチェックします。層関数を GPU で実行するには、これらの関数が、基となるデータ型が single である gpuArray 型の入力と出力をサポートしていなければなりません。

gradientsAreNumericallyCorrectbackwardLoss で計算された勾配が数値的に正しいものです。

生成されたデータ

層の有効性をチェックするために、関数 checkLayer は、層のタイプに応じてデータを生成します。

層のタイプ生成されるデータの説明
中間[-1,1] の範囲の値
回帰[-1,1] の範囲の値を持つ予測とターゲット
分類

[0,1] の範囲の値を持つ予測。

'ObservationDimension' オプションを指定した場合、ターゲットは one-hot 符号化されたベクトル (1 を 1 つ含み、それ以外は 0 のベクトル) です。

'ObservationDimension' オプションを指定しない場合、ターゲットは [0,1] の範囲の値です。

複数の観測値についてチェックするには、名前と値のペア 'ObservationDimension' を使用して観測値の次元を指定します。観測値の次元を指定した場合、関数 checkLayer は、サイズ 1 および 2 のミニバッチで生成されたデータを使用して、層関数が有効であることをチェックします。この名前と値のペアを指定しない場合、関数は、複数の観測値について層関数が有効であることをチェックするテストをスキップします。

診断

checkLayer を使用してテストに失敗した場合、この関数はテスト診断とフレームワーク診断を表示します。テスト診断は、層で見つかった問題を示します。フレームワーク診断は、より詳細な情報を提供します。

複数の観測値

関数 checkLayer は、1 つの観測値または複数の観測値について層関数が有効であることをチェックします。複数の観測値についてチェックするには、名前と値のペア 'ObservationDimension' を使用して観測値の次元を指定します。観測値の次元を指定した場合、関数 checkLayer は、サイズ 1 および 2 のミニバッチで生成されたデータを使用して、層関数が有効であることをチェックします。この名前と値のペアを指定しない場合、関数は、複数の観測値について層関数が有効であることをチェックするテストをスキップします。

テスト診断説明考えられる解決策
Skipping multi-observation tests. To enable checks with multiple observations, specify the 'ObservationDimension' parameter in checkLayer.checkLayer に 'ObservationDimension' パラメーターを指定しない場合、この関数は、複数の観測値のあるデータをチェックするテストをスキップします。

コマンド checkLayer(layer,validInputSize,'ObservationDimension',dim) を使用します。ここで、layer はカスタム層のインスタンス、validInputSize は層に有効な入力サイズを指定するベクトルであり、dim は層の入力における観測値の次元を指定します。

イメージ (サイズ h x w x c x N の 4 次元配列。h、w、および c は、それぞれイメージの高さ、幅、およびチャネル数、N は観測値の数) を入力する必要がある層の場合、観測値の次元を 4 に設定します。シーケンス (サイズ D x S x N の 3 次元配列。D および S は、それぞれシーケンス次元およびシーケンス長、N は観測値の数) を入力する必要がある層の場合、観測値の次元を 2 に設定します。

関数でエラーが発生しない

以下のテストは、有効なサイズの入力データを渡した場合に層でエラーが発生しないかをチェックします。

中間層-  テスト predictDoesNotError、forwardDoesNotError、および backwardDoesNotError は、有効なサイズの入力を渡した場合に層関数でエラーが発生しないかをチェックします。観測値の次元を指定している場合、関数は、観測値が 1 つと複数の両方の場合について層をチェックします。

テスト診断説明考えられる解決策
The function 'predict' threw an error:サイズ validInputSize のデータを渡したときに関数 predict でエラーが発生しました。Framework Diagnostic セクションに記載されているエラーに対処します。
The function 'forward' threw an error:サイズ validInputSize のデータを渡したときに関数 forward でエラーが発生しました。
The function 'backward' threw an error:predict の出力を渡したときに関数 backward でエラーが発生しました。

出力層-  テスト forwardLossDoesNotError および backwardLossDoesNotError は、有効なサイズの入力を渡した場合に層関数でエラーが発生しないかをチェックします。観測値の次元を指定している場合、関数は、観測値が 1 つと複数の両方の場合について層をチェックします。

テスト診断説明考えられる解決策
The function 'forwardLoss' threw an error:サイズ validInputSize のデータを渡したときに関数 forwardLoss でエラーが発生しました。Framework Diagnostic セクションに記載されているエラーに対処します。
The function 'backwardLoss' threw an error:サイズ validInputSize のデータを渡したときに関数 backwardLoss でエラーが発生しました。

出力のサイズが整合している

以下のテストは、層関数の出力のサイズが整合しているかをチェックします。

中間層-  テスト backwardIsConsistentInSize は、関数 backward が正しいサイズの微分を出力するかをチェックします。

backward の構文は、[dLdX,dLdW1,…,dLdWn] = backward(layer,X,Z,dLdZ,memory) です。入力において、X は層の入力データ、Z は forward の出力、dLdZ は次の層から逆伝播された勾配、memory は forward のメモリ出力です。出力において、dLdX は層の入力データについての損失の微分で、dLdW1,…,dLdWn は学習可能なパラメーターについての損失の微分です。

dLdX は、層入力 X と同じサイズでなければならず、dLdW1,…,dLdWn は、対応する学習可能なパラメーターと同じサイズでなければなりません。これらのサイズは、単一の観測値および複数の観測値をもつ入力データに対し、整合していなければなりません。

テスト診断説明考えられる解決策
Incorrect size of 'dLdX' for 'backward'.層入力についての損失の微分は、層入力と同じサイズでなければなりません。

層入力 X と同じサイズの微分 dLdX を返します。

Incorrect size of the derivative of loss with respect to 'W' for 'backward'.学習可能なパラメーターについての損失の微分は、対応する学習可能なパラメーターと同じサイズでなければなりません。

対応する学習可能なパラメーターと同じサイズの微分 dLdW1,…,dLdWn を返します。

出力層-  テスト forwardLossIsScalar および backwardLossIsConsistentInSize は forwardLoss および backwardLoss の出力のサイズが正しいかをチェックします。

forwardLoss の構文は、loss = forwardLoss(layer, Y, T) です。入力 Y は、ネットワークで行った予測に対応します。これらの予測は前の層の出力です。入力 T は学習ターゲットに対応します。出力 loss は、指定された損失関数に従った Y と T の間の損失です。出力 loss はスカラーでなければなりません。

backwardLoss の構文は、dLdY = backwardLoss(layer, Y, T) です。入力 Y はネットワークで行った予測であり、T は学習ターゲットです。出力 dLdY は予測 Y についての損失の微分です。出力 dLdY は、層入力 Y と同じサイズでなければなりません。

テスト診断説明考えられる解決策
Incorrect size of 'loss' for 'forwardLoss'.forwardLoss の出力 loss はスカラーでなければなりません。

出力 loss をスカラーとして返します。たとえば、損失に複数の値がある場合、mean または sum を使用できます。

Incorrect size of the derivative of loss 'dLdY' for 'backwardLoss'.層入力についての損失の微分は、層入力と同じサイズでなければなりません。層入力 Y と同じサイズの微分 dLdY を返します。

データ型の整合性と GPU 互換性

以下のテストは、層関数の出力の型が整合しているかと層関数が GPU 互換かをチェックします。

GPU 互換性のために、層関数は gpuArray 型の入力をサポートし、この型の出力を返さなければなりません。層が使用する他の関数も同じ動作をしなければなりません。多くの MATLAB® 組み込み関数が gpuArray 入力引数をサポートしています。これらの関数のいずれかを、1 つ以上の gpuArray 入力を指定して呼び出した場合、その関数は GPU で実行され、gpuArray 出力を返します。GPU で実行される関数の一覧については、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。深層学習に GPU を使用するには、Compute Capability 3.0 以上の CUDA® 対応 NVIDIA® GPU も必要です。 MATLAB での GPU の使用の詳細は、MATLAB での GPU 計算 (Parallel Computing Toolbox)を参照してください。

中間層-  テスト predictIsConsistentInType、forwardIsConsistentInType、および backwardIsConsistentInType は、層関数が正しいデータ型の変数を出力するかをチェックします。これらのテストは、データ型 single、double の入力や、基となる型が single または double であるデータ型 gpuArray の入力があったときに、層が整合性のあるデータ型を返すかをチェックします。

テスト診断説明考えられる解決策
Incorrect type of 'Z' for 'predict'.predict の出力 Z の型は、入力 X と整合性がなければなりません。

入力 X と同じ型の Z を返します。

Incorrect type of 'Z' for 'forward'.forward の出力 Z の型は、入力 X と整合性がなければなりません。
Incorrect type of 'dLdX' for 'backward'.backward の出力 dLdX の型は、入力 X と整合性がなければなりません。

入力 X と同じ型の dLdX を返します。

Incorrect type of the derivative of loss with respect to 'W' for 'backward'.学習可能なパラメーターについての損失の微分の型は、対応する学習可能なパラメーターと整合性がなければなりません。

各学習可能なパラメーターについて、対応する学習可能なパラメーターと同じ型の微分を返します。

出力層-  テスト forwardLossIsConsistentInType および backwardLossIsConsistentInType は、層関数が正しいデータ型の変数を出力するかをチェックします。これらのテストは、データ型 single、double の入力や、基となる型が single または double であるデータ型 gpuArray の入力があったときに、層が整合性のあるデータ型を返すかをチェックします。

テスト診断説明考えられる解決策
Incorrect type of 'loss' for 'forwardLoss'.forwardLoss の出力 loss の型は、入力 Y と整合性がなければなりません。

入力 Y と同じ型の loss を返します。

Incorrect type of the derivative of loss 'dLdY' for 'backwardLoss'.backwardLoss の出力 dLdY の型は、入力 Y と整合性がなければなりません。

入力 Y と同じ型の dLdY を返します。

勾配が数値的に正しい

テスト gradientsAreNumericallyCorrect は、層関数で計算された勾配が数値的に正しいかをチェックします。

中間層-  テスト gradientsAreNumericallyCorrect は、backward で計算された勾配が数値的に正しいかをテストします。

テスト診断説明考えられる解決策
The derivative 'dLdX' for 'backward' is inconsistent with the numerical gradient.

次の 1 つ以上に該当しています。

  • dLdX が正しく計算されていません

  • 関数が一部の入力点で微分可能ではありません

  • 許容誤差が小さすぎます

backward の微分が正しく計算されていることを確認します。

微分が正しく計算されている場合、Framework Diagnostic セクションで、微分の実際の値と期待される値の間で絶対誤差と相対誤差を手動で確認します。

絶対誤差と相対誤差が許容誤差限界内にある場合、このテスト診断を無視できます。

The derivative of loss with respect to 'W' for 'backward' is inconsistent with the numerical gradient.

次の 1 つ以上に該当しています。

  • 学習可能なパラメーター W についての微分が正しく計算されていません

  • 関数が一部の入力点で微分可能ではありません

  • 許容誤差が小さすぎます

出力層-  テスト gradientsAreNumericallyCorrect は、backwardLoss で計算された勾配が数値的に正しいかをチェックします。

テスト診断説明考えられる解決策
The derivative 'dLdY' for 'backwardLoss' is inconsistent with the numerical gradient.

次の 1 つ以上に該当しています。

  • 予測 Y についての微分が正しく計算されていません

  • 関数が一部の入力点で微分可能ではありません

  • 許容誤差が小さすぎます

backwardLoss の微分が正しく計算されていることを確認します。

微分が正しく計算されている場合、Framework Diagnostic セクションで、微分の実際の値と期待される値の間で絶対誤差と相対誤差を手動で確認します。

絶対誤差と相対誤差が許容誤差限界内にある場合、このテスト診断を無視できます。

参考

|

関連するトピック

Deep Learning Toolbox ドキュメンテーション
サポート
MATLABで始めるディープラーニング

MATLABで始めるディープラーニング

ebookをダウンロードする