カスタム層の有効性のチェック
カスタム深層学習層を作成する場合、関数 checkLayer
を使用して、層が有効であることをチェックできます。この関数は、層について、有効性、GPU 互換性、勾配定義の正しさ、コード生成の互換性をチェックします。層が有効であることをチェックするには、次のコマンドを実行します。
checkLayer(layer,layout)
layer
は層のインスタンス、layout
は層への入力に対して有効なサイズとデータ形式を指定する networkDataLayout
オブジェクトです。複数の観測値をチェックするには、ObservationDimension
オプションを使用します。コード生成の互換性チェックを実行するには、CheckCodegenCompatibility
オプションを 1
(true
) に設定します。入力サイズが大きい場合、勾配チェックの実行に時間がかかります。チェックを高速化するには、指定する有効な入力サイズを小さくします。カスタム層の有効性のチェック
例のカスタム層 sreluLayer
の有効性をチェックします。
この例にサポート ファイルとして添付されているカスタム層 sreluLayer
は、入力データに SReLU 演算を適用します。この層にアクセスするには、この例をライブ スクリプトとして開きます。
層のインスタンスを作成します。
layer = sreluLayer;
層への典型的な入力の 1 つの観測値に要求される入力サイズと形式を指定する networkDataLayout
オブジェクトを作成します。有効な入力サイズとして [24 24 20 128]
を指定します。ここで、各次元は、前の層の出力における高さ、幅、チャネル数、および観測値の数に対応します。データ形式を "SSCB"
(空間、空間、チャネル、バッチ) として指定します。
validInputSize = [24 24 20 128];
layout = networkDataLayout(validInputSize,"SSCB");
checkLayer
を使用して、層の有効性をチェックします。ネットワークにデータを渡す場合、層には 4 次元配列を入力する必要があります。ここで、最初の 3 つの次元は前の層の出力における高さ、幅、およびチャネル数に対応し、4 番目の次元は観測値に対応します。
checkLayer(layer,layout)
Skipping GPU tests. No compatible GPU device found. Skipping code generation compatibility tests. To check validity of the layer for code generation, specify the CheckCodegenCompatibility and ObservationDimension options. Running nnet.checklayer.TestLayerWithoutBackward .......... .......... Done nnet.checklayer.TestLayerWithoutBackward __________ Test Summary: 20 Passed, 0 Failed, 0 Incomplete, 14 Skipped. Time elapsed: 0.18264 seconds.
この結果は、パスしたテスト、失敗したテスト、およびスキップされたテストの数を示しています。GPU がない場合、この関数は対応するテストをスキップします。
テストの一覧
関数 checkLayer
は、以下のテストを使用してカスタム層の有効性をチェックします。
テスト | 説明 |
---|---|
functionSyntaxesAreCorrect | 層関数の構文が正しく定義されています。 |
predictDoesNotError | 関数 predict でエラーが発生しません。 |
forwardDoesNotError | 指定されている場合、関数 |
forwardPredictAreConsistentInSize |
|
backwardDoesNotError | 指定されている場合、backward でエラーが発生しません。 |
backwardIsConsistentInSize |
|
predictIsConsistentInType |
|
forwardIsConsistentInType |
|
backwardIsConsistentInType |
|
gradientsAreNumericallyCorrect | backward が指定されている場合、backward で計算された勾配が数値勾配と整合します。 |
backwardPropagationDoesNotError | backward が指定されていない場合、自動微分を使用して微分を計算できます。 |
predictReturnsValidStates | 状態プロパティをもつ層において、関数 predict が有効な状態を返します。 |
forwardReturnsValidStates | 状態プロパティをもつ層において、関数 forward (指定されている場合) が有効な状態を返します。 |
resetStateDoesNotError | 状態プロパティをもつ層において、関数 resetState (指定されている場合) はエラーを発生させずに状態を有効な状態にリセットします。 |
| nnet.layer.Formattable クラスから継承する層の場合、関数 predict はチャネル次元をもち、形式を整えた dlarray を返します。 |
| nnet.layer.Formattable クラスから継承する層の場合、関数 forward (指定されている場合) はチャネル次元をもち、形式を整えた dlarray を返します。 |
| 1 つ以上の networkDataLayout オブジェクトを指定する場合、同じ networkDataLayout オブジェクトを入力として初期化を繰り返しても、層の学習可能パラメーターが変化することはありません。 |
| 1 つ以上の networkDataLayout オブジェクトを指定する場合、同じ networkDataLayout オブジェクトを入力として初期化を繰り返しても、層の状態パラメーターが変化することはありません。 |
codegenPragmaDefinedInClassDef | コード生成のプラグマ "%#codegen" は、クラス ファイルで指定されます。 |
layerPropertiesSupportCodegen | 層のプロパティによってコード生成がサポートされます。 |
predictSupportsCodegen | predict はコード生成に対して有効です。 |
doesNotHaveStateProperties | コード生成において、層が状態プロパティをもちません。 |
functionLayerSupportsCodegen | コード生成では、層関数はパス上の名前付き関数でなければならず、Formattable プロパティを 0 (false) に設定しなければなりません。 |
テストによっては複数回実行されます。これらのテストでは、各種のデータ型と GPU の互換性もチェックされます。
predictIsConsistentInType
forwardIsConsistentInType
backwardIsConsistentInType
層関数を GPU で実行するには、これらの関数が、基となるデータ型が single
である gpuArray
型の入力と出力をサポートしていなければなりません。
生成されたデータ
層の有効性をチェックするために、関数 checkLayer
は範囲 [-1, 1] の値を使用してデータを生成します。
複数の観測値についてチェックするには、layout
をバッチ ("B"
) 次元として指定するか、ObservationDimension
オプションを使用して観測値の次元を指定します。観測値の次元を指定した場合、関数 checkLayer
は、サイズ 1 および 2 のミニバッチで生成されたデータを使用して、層関数が有効であることをチェックします。この名前と値のペアを指定しない場合、関数は、複数の観測値について層関数が有効であることをチェックするテストをスキップします。
診断
checkLayer
を使用してテストに失敗した場合、この関数はテスト診断とフレームワーク診断を表示します。テスト診断は、層で見つかった問題を示します。フレームワーク診断は、より詳細な情報を提供します。
関数の構文
テスト functionSyntaxesAreCorrect
は、層関数の構文が正しく定義されているかをチェックします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Incorrect number of input arguments for 'predict' in Layer . | 関数 predict の構文が、層入力の数と整合していません。 |
関数
複数の入力、複数の出力、または複数の状態パラメーターを使用して、層の構文を調整できます。
ヒント 層への入力の数が変化する可能性がある場合、 出力の数が変化する可能性がある場合、 ヒント 学習可能なパラメーターの |
Incorrect number of output arguments for 'predict' in Layer | 関数 predict の構文が、層出力の数と整合していません。 | |
Incorrect number of input arguments for 'forward' in Layer | オプションの関数 forward の構文が、層入力の数と整合していません。 |
関数
複数の入力、複数の出力、または複数の状態パラメーターを使用して、層の構文を調整できます。
ヒント 層への入力の数が変化する可能性がある場合、 出力の数が変化する可能性がある場合、 ヒント 学習可能なパラメーターの |
Incorrect number of output arguments for 'forward' in Layer | オプションの関数 forward の構文が、層出力の数と整合していません。 | |
Incorrect number of input arguments for 'backward' in Layer | オプションの関数 backward の構文が、層入力および層出力の数と整合していません。 |
関数
複数の入力、複数の出力、複数の学習可能なパラメーター、または複数の状態パラメーターを使用して、層の構文を調整できます。
フォワード パスとバックワード パスの間に使用されない変数が保存されることを防いでメモリ使用量を削減するには、対応する入力引数を ヒント
出力の数が変化する可能性がある場合、出力引数ではなく ヒント 層の順方向関数が |
Incorrect number of output arguments for 'backward' in Layer | オプションの関数 backward の構文が、層出力の数と整合していません。 |
複数の入力または出力がある層の場合、層プロパティ NumInputs
(または InputNames
) および NumOutputs
(または OutputNames
) の値を層のコンストラクター関数にそれぞれ設定しなければなりません。
複数の観測値
関数 checkLayer
は、1 つの観測値または複数の観測値について層関数が有効であることをチェックします。複数の観測値についてチェックするには、layout
をバッチ ("B"
) 次元として指定するか、ObservationDimension
オプションを使用して観測値の次元を指定します。観測値の次元を指定した場合、関数 checkLayer
は、サイズ 1 および 2 のミニバッチで生成されたデータを使用して、層関数が有効であることをチェックします。この名前と値のペアを指定しない場合、関数は、複数の観測値について層関数が有効であることをチェックするテストをスキップします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Skipping multi-observation tests. To enable checks with multiple observations, specify the 'ObservationDimension' parameter in checkLayer . | checkLayer に ObservationDimension オプションを指定しない場合、この関数は、複数の観測値のあるデータをチェックするテストをスキップします。 | コマンド 詳細については、Layer Input Sizesを参照してください。 |
関数でエラーが発生しない
テスト predictDoesNotError
、forwardDoesNotError
、および backwardDoesNotError
は、有効なサイズの入力を渡した場合に層関数でエラーが発生しないかをチェックします。観測値の次元を指定している場合、関数は、観測値が 1 つと複数の両方の場合について層をチェックします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
The function 'predict' threw an error: | layout で定義されたサイズのデータを渡したときに、関数 predict でエラーが発生しました。 |
ヒント 層の順方向関数が |
The function 'forward' threw an error: | layout で定義されたサイズのデータを渡したときに、オプションの関数 forward でエラーが発生しました。 | |
The function 'backward' threw an error: | predict の出力を渡したときにオプションの関数 backward でエラーが発生しました。 |
出力のサイズが整合している
テスト backwardIsConsistentInSize
は、関数 backward
が正しいサイズの微分を出力するかをチェックします。
関数 backward
の構文は、層のタイプによって異なります。
dLdX = backward(layer,X,Y,dLdY,memory)
は、層入力についての損失の微分dLdX
を返します。この場合、layer
は 1 つの入力と 1 つの出力をもちます。Y
は順方向関数の出力に対応し、dLdY
はY
についての損失の微分に対応します。関数の入力memory
は、順方向関数のメモリ出力に対応します。[dLdX,dLdW] = backward(layer,X,Y,dLdY,memory)
は、学習可能なパラメーターについての損失の微分dLdW
も返します。この場合、layer
は 1 つの学習可能なパラメーターをもちます。[dLdX,dLdSin] = backward(layer,X,Y,dLdY,dLdSout,memory)
は、状態入力についての損失の微分dLdSin
も返します。この場合、layer
は 1 つの状態パラメーターをもちます。dLdSout
は層の状態出力についての損失の微分に対応します。[dLdX,dLdW,dLdSin] = backward(layer,X,Y,dLdY,dLdSout,memory)
は、学習可能なパラメーターについての損失の微分dLdW
、および層の状態入力についての損失の微分dLdSin
も返します。この場合、layer
は 1 つの状態パラメーターと 1 つの学習可能なパラメーターをもちます。
複数の入力、複数の出力、複数の学習可能なパラメーター、または複数の状態パラメーターを使用して、層の構文を調整できます。
複数の入力をもつ層の場合、
X
とdLdX
をそれぞれX1,...,XN
とdLdX1,...,dLdXN
に置き換えます。ここで、N
は入力の数です。複数の出力をもつ層の場合、
Y
とdLdY
をそれぞれY1,...,YM
とdLdY1,...,dLdYM
に置き換えます。ここで、M
は出力の数です。複数の学習可能なパラメーターをもつ層の場合、
dLdW
をdLdW1,...,dLdWP
に置き換えます。ここで、P
は学習可能なパラメーターの数です。複数の状態パラメーターをもつ層の場合、
dLdSin
とdLdSout
をそれぞれdLdSin1,...,dLdSinK
とdLdSout1,...,dLdSoutK
に置き換えます。ここで、K
は状態パラメーターの数です。
フォワード パスとバックワード パスの間に使用されない変数が保存されることを防いでメモリ使用量を削減するには、対応する入力引数を ~
に置き換えます。
ヒント
backward
への入力の数が変化する可能性がある場合、layer
の後に入力引数ではなく varargin
を使用します。この場合、varargin
は入力の cell 配列になります。ここで、最初の N
個の要素は N
個の層入力に対応し、その次の M
個の要素は M
個の層出力に対応し、その次の M
個の要素は M
個の層出力についての損失の微分に対応し、その次の K
個の要素は K
個の状態出力についての損失に関する K
個の微分に対応し、最後の要素は memory
に対応します。
出力の数が変化する可能性がある場合、出力引数ではなく varargout
を使用します。この場合、varargout
は出力の cell 配列になります。ここで、最初の N
個の要素は N
個の層入力についての損失に関する N
個の微分に対応し、その次の P
個の要素は P
個の学習可能なパラメーターについての損失の微分に対応し、その次の K
個の要素は K
個の状態入力についての損失の微分に対応します。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Incorrect size of 'dLdX' for 'backward' . | 層入力についての損失の微分は、対応する層入力と同じサイズでなければなりません。 | 対応する層入力 |
Incorrect size of the derivative of the loss with respect to the input 'in1' for 'backward' | ||
The size of 'Y' returned from 'forward' must be the same as for 'predict' . | predict の出力は、forward の対応する出力と同じサイズでなければなりません。 |
|
Incorrect size of the derivative of the loss with respect to 'W' for 'backward' . | 学習可能なパラメーターについての損失の微分は、対応する学習可能なパラメーターと同じサイズでなければなりません。 | 対応する学習可能なパラメーター |
ヒント
層の順方向関数が dlarray
オブジェクトをサポートしている場合、逆方向関数が自動的に決定されるため、関数 backward
を指定する必要はありません。dlarray
オブジェクトをサポートしている関数の一覧については、dlarray をサポートする関数の一覧を参照してください。
出力の形式が整っている
R2023b 以降
テスト formattableLayerPredictIsFormatted
および formattableLayerForwardIsFormatted
は、層関数の出力がチャネル次元をもつ dlarray
オブジェクトであるかチェックします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
The layer output returned from 'predict' must be a formatted dlarray . | 関数 predict が、形式を整えた dlarray を返さない | 関数 |
The layer output returned from 'forward' must be a formatted dlarray . | オプションの関数 forward が、形式を整えた dlarray を返さない | オプションの関数 |
初期化
R2023b 以降
これらのテストでは、空でないパラメーターが初期化によって上書きされていないかチェックします。
テスト initializeDoesNotChangeLearnableParametersWhenTheyAreNotEmpty
と initializeDoesNotChangeStatefulParametersWhenTheyAreNotEmpty
は、空でない学習可能パラメーターとステートフル パラメーターがカスタム関数 initialize
によって上書きされていないかチェックします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
The initialize function overwrites existing layer learnable parameters . | 関数 initialize が、空でない学習可能パラメーターを上書きしています。 | 空のパラメーターのみを初期化します。パラメーターが空かどうかをチェックするには、関数 |
The initialize function overwrites existing layer state parameters . | 関数 initialize が、空でない状態パラメーターを上書きしています。 |
データ型の整合性と GPU 互換性
テスト predictIsConsistentInType
、forwardIsConsistentInType
、および backwardIsConsistentInType
は、層関数が正しいデータ型の変数を出力するかをチェックします。これらのテストは、データ型 single
、double
の入力や、基となる型が single
または double
であるデータ型 gpuArray
の入力があったときに、層関数が整合性のあるデータ型を返すかをチェックします。
層の順方向関数が dlarray
オブジェクトを完全にサポートしている場合、層は GPU 互換です。そうでない場合、GPU 互換にするには、層関数が入力をサポートし、gpuArray
(Parallel Computing Toolbox) 型の出力を返さなければなりません。
多くの MATLAB® 組み込み関数が入力引数 gpuArray
(Parallel Computing Toolbox) および dlarray
をサポートしています。dlarray
オブジェクトをサポートしている関数の一覧については、dlarray をサポートする関数の一覧を参照してください。GPU で実行される関数の一覧については、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。深層学習に GPU を使用するには、サポートされている GPU デバイスもなければなりません。サポートされているデバイスについては、GPU 計算の要件 (Parallel Computing Toolbox)を参照してください。MATLAB での GPU の使用の詳細は、MATLAB での GPU 計算 (Parallel Computing Toolbox)を参照してください。
ヒント
zeros
のような関数を使用して配列を事前に割り当てる場合、これらの配列のデータ型が層関数の入力と一致していることを確認しなければなりません。別の配列と同じデータ型のゼロの配列を作成するには、zeros
の "like"
オプションを使用します。たとえば、配列 X
と同じデータ型でサイズが sz
のゼロの配列を初期化するには、Y = zeros(sz,"like",X)
を使用します。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Incorrect type of 'Y' for 'predict' . | 関数 predict の出力 Y1,…,Ym の型は、入力 X1,…,Xn と整合性がなければなりません。 | 入力 |
Incorrect type of output 'out1' for 'predict' . | ||
Incorrect type of 'Y' for 'forward' . | オプションの関数 forward の出力 Y1,…,Ym の型は、入力 X1,…,Xn と整合性がなければなりません。 | |
Incorrect type of output 'out1' for 'forward' . | ||
Incorrect type of 'dLdX' for 'backward' . | オプションの関数 backward の微分 dLdX1,…,dLdXn の型は、入力 X1,…,Xn と整合性がなければなりません。 | 入力 |
Incorrect type of the derivative of the loss with respect to the input 'in1' for 'backward' . | ||
Incorrect type of the derivative of loss with respect to 'W' for 'backward' . | 学習可能なパラメーターについての損失の微分の型は、対応する学習可能なパラメーターと整合性がなければなりません。 | 各学習可能なパラメーターについて、対応する学習可能なパラメーターと同じ型の微分を返します。 |
ヒント
層の順方向関数が dlarray
オブジェクトをサポートしている場合、逆方向関数が自動的に決定されるため、関数 backward
を指定する必要はありません。dlarray
オブジェクトをサポートしている関数の一覧については、dlarray をサポートする関数の一覧を参照してください。
正しい勾配
テスト gradientsAreNumericallyCorrect
は、層関数で計算された勾配が数値的に正しいかをチェックします。テスト backwardPropagationDoesNotError
は、自動微分を使用して微分を計算できるかをチェックします。
オプションの関数 backward
が指定されていない場合、テスト backwardPropagationDoesNotError
は自動微分を使用して微分を計算できるかをチェックします。オプションの関数 backward
が指定されている場合、テスト gradientsAreNumericallyCorrect
は backward
で計算された勾配が数値的に正しいかをテストします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Expected a dlarray with no dimension labels, but instead found labels . | オプションの関数 backward が指定されていない場合、層の順方向関数は次元ラベルなしで dlarray オブジェクトを出力しなければなりません。 | 層の順方向関数で作成された dlarray オブジェクトに次元ラベルが含まれないことを確認します。 |
Unable to backward propagate through the layer. Check that the 'forward' function fully supports automatic differentiation. Alternatively, implement the 'backward' function manually . | 次の 1 つ以上に該当しています。
| 順関数が 入力 または、 |
Unable to backward propagate through the layer. Check that the 'predict' function fully supports automatic differentiation. Alternatively, implement the 'backward' function manually . | ||
The derivative 'dLdX' for 'backward' is inconsistent with the numerical gradient . | 次の 1 つ以上に該当しています。
| 層の順方向関数が
微分が正しく計算されている場合、 絶対誤差と相対誤差が許容誤差限界内にある場合、このテスト診断を無視できます。 |
The derivative of the loss with respect to the input 'in1' for 'backward' is inconsistent with the numerical gradient . | ||
The derivative of loss with respect to 'W' for 'backward' is inconsistent with the numerical gradient . |
ヒント
層の順方向関数が dlarray
オブジェクトをサポートしている場合、逆方向関数が自動的に決定されるため、関数 backward
を指定する必要はありません。dlarray
オブジェクトをサポートしている関数の一覧については、dlarray をサポートする関数の一覧を参照してください。
有効な状態
テスト predictReturnsValidStates
は、状態プロパティをもつ層について、予測関数が有効な状態を返すかどうかをチェックします。forward
が指定されている場合、テスト forwardReturnsValidStates
は、順方向関数が有効な状態を返すかどうかをチェックします。テスト resetStateDoesNotError
は、関数 resetState
が有効な状態プロパティをもつ層を返すかどうかをチェックします。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Error using 'predict' in Layer. 'State' must be real-values numeric array or unformatted dlarray object . | 状態出力は、実数値の数値配列または形式を整えていない dlarray オブジェクトでなければなりません。 | Framework Diagnostic で検出された状態が、実数値の数値配列または形式を整えていない dlarray オブジェクトであることを確認してください。 |
Error using 'resetState' in Layer. 'State' must be real-values numeric array or unformatted dlarray object | 返された層の状態プロパティは、実数値の数値配列または形式を整えていない dlarray オブジェクトでなければなりません。 |
コード生成の互換性
CheckCodegenCompatibility
オプションを 1
(true
) に設定すると、関数 checkLayer
は、コード生成の互換性について層をチェックします。
テスト codegenPragmaDefinedInClassDef
は、層の定義にコード生成プラグマ %#codegen
が含まれていることをチェックします。テスト layerPropertiesSupportCodegen
は、層のプロパティによってコード生成がサポートされていることをチェックします。テスト predictSupportsCodegen
は、predict
の出力の次元およびバッチ サイズに整合性があることをチェックします。
標準 C/C++/CUDA のコード生成 (DeepLearningConfig
の TargetLibrary
オプションが "none"
の場合) は、空間、チャネル、バッチ、時間の次元のみを含む入力をもつカスタム層をサポートします。それ以外の場合、コード生成は、2 次元イメージ入力または特徴入力のみをもつカスタム層をサポートします。コード生成は、状態プロパティ (属性が State
であるプロパティ) をもつカスタム層をサポートしません。
関数 checkLayer
は、層で使用されている関数がコード生成と互換性があるかどうかをチェックしません。カスタム層で使用されている関数もコード生成をサポートしているかどうかをチェックするには、まずコード生成の準備状態アプリを使用します。詳細については、コード生成の準備状態ツールを使ったコードのチェック (MATLAB Coder)を参照してください。
テスト診断 | 説明 | 考えられる解決策 |
---|---|---|
Specify '%#codegen' in the class definition of custom layer | 層の定義には、コード生成用のプラグマ "%#codegen" が含まれません。 | この層のコードを生成することを示すため、層の定義に |
Nonscalar layer properties must be type single or double or character array for custom layer | 層には、single 配列、double 配列、または文字配列以外の型の、非スカラーのプロパティが含まれます。 | 非スカラーのプロパティを変換して、型が single 配列、double 配列、または文字配列の表現を使用します。 たとえば、categorical 配列を、カテゴリを表す |
Scalar layer properties must be numeric, logical, or string for custom layer | 層には、数値、logical、または string 以外の型の、スカラーのプロパティが含まれます。 | スカラーのプロパティを変換して、数値表現、または型が logical か string の表現を使用します。 たとえば、categorical スカラーを、カテゴリを表す |
For code generation, 'Y' must have the same number of dimensions as the layer input . |
| 関数 |
For code generation, 'Y' must have the same batch size as the layer input . |
| 関数 |