batchNormalizationLayer

バッチ正規化層

説明

バッチ正規化層は、観測値全体におけるデータミニバッチの正規化を、各チャネルについて個別に行います。畳み込みニューラルネットワークの学習速度を上げ、ネットワークの初期化に対する感度を下げるには、畳み込み層の間にあるバッチ正規化層と、ReLU 層などの非線形性を使用します。

正規化後、この層は、学習可能なスケール係数 γ だけ入力をスケーリングし、それを学習可能なオフセット β だけシフトします。

作成

構文

layer = batchNormalizationLayer

layer = batchNormalizationLayer(Name,Value)

説明

layer = batchNormalizationLayer は、バッチ正規化層を作成します。

例

layer = batchNormalizationLayer(Name,Value) は、バッチ正規化層を作成し、1 つ以上の名前と値のペアを使用して、オプションの TrainedMean、TrainedVariance、Epsilon、パラメーターと初期化、学習率および正則化、および Name の各プロパティを設定します。たとえば、batchNormalizationLayer('Name','batchnorm') は、'batchnorm' という名前のバッチ正規化層を作成します。

プロパティ

すべて展開する

バッチ正規化

`TrainedMean` — 予測に使用される平均統計値
数値ベクトル

予測に使用される平均統計値。チャネルごとの平均値の数値ベクトルとして指定します。

層入力のタイプに応じて、関数 trainNetwork、assembleNetwork、layerGraph、および dlnetwork は、次のサイズをもつようにこのプロパティを自動的に形状変更します。

層入力	プロパティサイズ
特徴入力	`NumChannels` 行 1 列
ベクトルシーケンス入力	`NumChannels` 行 1 列
1 次元イメージ入力	1×`NumChannels`
1 次元イメージシーケンス入力	1×`NumChannels`
2 次元イメージ入力	1×1×`NumChannels`
2 次元イメージシーケンス入力	1×1×`NumChannels`
3 次元イメージ入力	1×1×1×`NumChannels`
3 次元イメージシーケンス入力	1×1×1×`NumChannels`

BatchNormalizationStatistics 学習オプションが 'moving' である場合、学習中に実行時推定を使用してバッチ正規化統計量が近似され、学習後に TrainedMean プロパティと TrainedVariance プロパティがそれぞれ平均と分散の最新の移動推定値に設定されます。

BatchNormalizationStatistics 学習オプションが 'population' である場合、ネットワークの学習終了後にデータが再度渡され、TrainedMean プロパティと TrainedVariance プロパティがそれぞれ学習データセット全体から計算された平均と分散に設定されます。

層は TrainedMean と TrainedVariance を使用して、予測時に入力を正規化します。

データ型: single | double

`TrainedVariance` — 予測に使用される分散統計値
数値ベクトル

予測に使用される分散統計値。チャネルごとの分散値の数値ベクトルとして指定します。

層入力	プロパティサイズ
特徴入力	`NumChannels` 行 1 列
ベクトルシーケンス入力	`NumChannels` 行 1 列
1 次元イメージ入力	1×`NumChannels`
1 次元イメージシーケンス入力	1×`NumChannels`
2 次元イメージ入力	1×1×`NumChannels`
2 次元イメージシーケンス入力	1×1×`NumChannels`
3 次元イメージ入力	1×1×1×`NumChannels`
3 次元イメージシーケンス入力	1×1×1×`NumChannels`

層は TrainedMean と TrainedVariance を使用して、予測時に入力を正規化します。

データ型: single | double

`Epsilon` — ミニバッチの分散に加算する定数
`1e-5` (既定値) | 数値スカラー

ミニバッチの分散に加算する定数。1e-5 以上の数値スカラーとして指定します。

層は、正規化の前にミニバッチの分散にこの定数を加算して、数値安定性を確保し、ゼロ除算を回避します。

`NumChannels` — 入力チャネル数
`'auto'` (既定値) | 正の整数

このプロパティは読み取り専用です。

入力チャネル数。次のいずれかとして指定します。

'auto' — 学習時に入力チャネルの数を自動的に決定します。
正の整数 — 指定された数の入力チャネルの層を構成します。NumChannels と層入力データのチャネル数は一致しなければなりません。たとえば、入力が RGB イメージの場合、NumChannels は 3 でなければなりません。入力が 16 個のフィルターをもつ畳み込み層の出力である場合、NumChannels は 16 でなければなりません。

パラメーターと初期化

`ScaleInitializer` — チャネルスケール係数を初期化する関数
`'ones'` (既定値) | `'narrow-normal'` | 関数ハンドル

チャネルスケール係数を初期化する関数。次のいずれかに指定します。

'ones' – 1 でチャネルスケール係数を初期化します。
'zeros' – 0 でチャネルスケール係数を初期化します。
'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、チャネルスケール係数を初期化します。
関数ハンドル – カスタム関数でチャネルスケール係数を初期化します。関数ハンドルを指定する場合、関数は scale = func(sz) という形式でなければなりません。ここで、sz はスケールのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Scale プロパティが空の場合にのみチャネルスケール係数が初期化されます。

データ型: char | string | function_handle

`OffsetInitializer` — チャネルオフセットを初期化する関数
`'zeros'` (既定値) | `'ones'` | `'narrow-normal'` | 関数ハンドル

チャネルオフセットを初期化する関数。次のいずれかに指定します。

'zeros' – 0 でチャネルオフセットを初期化します。
'ones' – 1 でチャネルオフセットを初期化します。
'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、チャネルオフセットを初期化します。
関数ハンドル – カスタム関数でチャネルオフセットを初期化します。関数ハンドルを指定する場合、関数は offset = func(sz) という形式でなければなりません。ここで、sz はスケールのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Offset プロパティが空の場合にのみチャネルオフセットが初期化されます。

データ型: char | string | function_handle

`Scale` — チャネルスケール係数
`[]` (既定値) | 数値ベクトル

チャネルスケール係数 γ。数値ベクトルとして指定します。

チャネルスケール係数は学習可能なパラメーターです。ネットワークの学習時に、Scale が空ではない場合、trainNetwork は Scale プロパティを初期値として使用します。Scale が空の場合、trainNetwork は ScaleInitializer によって指定された初期化子を使用します。

層入力	プロパティサイズ
特徴入力	`NumChannels` 行 1 列
ベクトルシーケンス入力	`NumChannels` 行 1 列
1 次元イメージ入力	1×`NumChannels`
1 次元イメージシーケンス入力	1×`NumChannels`
2 次元イメージ入力	1×1×`NumChannels`
2 次元イメージシーケンス入力	1×1×`NumChannels`
3 次元イメージ入力	1×1×1×`NumChannels`
3 次元イメージシーケンス入力	1×1×1×`NumChannels`

データ型: single | double

`Offset` — チャネルオフセット
`[]` (既定値) | 数値ベクトル

チャネルオフセット β。数値ベクトルとして指定します。

チャネルオフセットは学習可能なパラメーターです。ネットワークの学習時に、Offset が空ではない場合、trainNetwork は Offset プロパティを初期値として使用します。Offset が空の場合、trainNetwork は OffsetInitializer によって指定された初期化子を使用します。

層入力	プロパティサイズ
特徴入力	`NumChannels` 行 1 列
ベクトルシーケンス入力	`NumChannels` 行 1 列
1 次元イメージ入力	1×`NumChannels`
1 次元イメージシーケンス入力	1×`NumChannels`
2 次元イメージ入力	1×1×`NumChannels`
2 次元イメージシーケンス入力	1×1×`NumChannels`
3 次元イメージ入力	1×1×1×`NumChannels`
3 次元イメージシーケンス入力	1×1×1×`NumChannels`

データ型: single | double

`MeanDecay` — 移動平均を計算するための減衰値
0.1 (既定値) | `0` ～ `1` の数値スカラー

移動平均を計算するための減衰値。0 ～ 1 の数値スカラーとして指定します。

BatchNormalizationStatistics 学習オプションが 'moving' である場合、各反復において、層は次を使用して移動平均値を更新します。

$μ^{*} = λ_{μ} \hat{μ} + (1 - λ_{μ}) μ,$

ここで、 $μ^{*}$ は更新後の平均、 $λ_{μ}$ は平均の減衰値、 $\hat{μ}$ は層入力の平均、 $μ$ は移動平均の最新値を表します。

BatchNormalizationStatistics 学習オプションが 'population' である場合、このオプションは効果がありません。

`VarianceDecay` — 移動分散を計算するための減衰値
0.1 (既定値) | `0` ～ `1` の数値スカラー

移動分散を計算するための減衰値。0 ～ 1 の数値スカラーとして指定します。

BatchNormalizationStatistics 学習オプションが 'moving' である場合、各反復において、層は次を使用して移動分散値を更新します。

$σ^{2}^{*} = λ_{σ^{2}} \hat{σ^{2}} + (1 - λ_{σ^{2}}) σ^{2},$

ここで、 $σ^{2}^{*}$ は更新後の分散、 $λ_{σ^{2}}$ は分散の減衰値、 $\hat{σ^{2}}$ は層入力の分散、 $σ^{2}$ は移動分散の最新値を表します。

BatchNormalizationStatistics 学習オプションが 'population' である場合、このオプションは効果がありません。

学習率および正則化

`ScaleLearnRateFactor` — スケール係数の学習率係数
`1` (既定値) | 非負のスカラー

スケール係数の学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、層のスケール係数の学習率が決定されます。たとえば、ScaleLearnRateFactor が 2 の場合、層のスケール係数の学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

`OffsetLearnRateFactor` — オフセットの学習率係数
`1` (既定値) | 非負のスカラー

オフセットの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、層のオフセットの学習率が決定されます。たとえば、OffsetLearnRateFactor が 2 の場合、層のオフセットの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

`ScaleL2Factor` — スケール係数の L₂ 正則化係数
`1` (既定値) | 非負のスカラー

スケール係数の L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、層のスケール係数の学習率が決定されます。たとえば、ScaleL2Factor が 2 の場合、層のオフセットの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

`OffsetL2Factor` — オフセットの L₂ 正則化係数
`1` (既定値) | 非負のスカラー

オフセットの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、層のオフセットの学習率が決定されます。たとえば、OffsetL2Factor が 2 の場合、層のオフセットの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

層

`Name` — 層の名前
`''` (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、関数 trainNetwork、assembleNetwork、layerGraph、および dlnetwork は、名前が '' の層に自動的に名前を割り当てます。

データ型: char | string

`NumInputs` — 入力の数
`1` (既定値)

このプロパティは読み取り専用です。

層の入力の数。この層は単一の入力のみを受け入れます。

データ型: double

`InputNames` — 入力名
`{'in'}` (既定値)

このプロパティは読み取り専用です。

層の入力名。この層は単一の入力のみを受け入れます。

データ型: cell

`NumOutputs` — 出力の数
`1` (既定値)

このプロパティは読み取り専用です。

層の出力の数。この層には単一の出力のみがあります。

データ型: double

`OutputNames` — 出力名
`{'out'}` (既定値)

このプロパティは読み取り専用です。

層の出力名。この層には単一の出力のみがあります。

データ型: cell

例

すべて折りたたむ

バッチ正規化層の作成

ライブスクリプトを開く

'BN1' という名前のバッチ正規化層を作成します。

layer = batchNormalizationLayer('Name','BN1')

layer = 
  BatchNormalizationLayer with properties:

               Name: 'BN1'
        NumChannels: 'auto'

   Hyperparameters
          MeanDecay: 0.1000
      VarianceDecay: 0.1000
            Epsilon: 1.0000e-05

   Learnable Parameters
             Offset: []
              Scale: []

   State Parameters
        TrainedMean: []
    TrainedVariance: []

  Show all properties

Layer 配列にバッチ正規化層を含めます。

layers = [
    imageInputLayer([32 32 3]) 
  
    convolution2dLayer(3,16,'Padding',1)
    batchNormalizationLayer
    reluLayer   
    
    maxPooling2dLayer(2,'Stride',2)
    
    convolution2dLayer(3,32,'Padding',1)
    batchNormalizationLayer
    reluLayer
          
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer
    ]

layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             32x32x3 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [1  1  1  1]
     3   ''   Batch Normalization     Batch normalization
     4   ''   ReLU                    ReLU
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [1  1  1  1]
     7   ''   Batch Normalization     Batch normalization
     8   ''   ReLU                    ReLU
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

アルゴリズム

すべて展開する

バッチ正規化層

この層はまず、ミニバッチの平均を減算し、ミニバッチの標準偏差で除算することにより、各チャネルの活性化を正規化します。さらに、この層は、学習可能なオフセット β だけ入力をシフトし、それを学習可能なスケール係数 γ でスケーリングします。β と γ はそれら自体が学習可能なパラメーターであり、ネットワークの学習中に更新されます。

バッチ正規化層は、ニューラルネットワークを通じて伝播される活性化と勾配を正規化します。これにより、ネットワークの学習は簡単な最適化問題になります。この事実を十分に活用するために、学習率を増やすことができます。この最適化問題は簡単なため、パラメーターの更新量が大きくなり、ネットワークの学習時間を短縮できます。また、L₂ とドロップアウト正則化を小さくすることもできます。バッチ正規化層では、学習中の特定のイメージの活性化は、同じミニバッチにどのイメージが現れるかによって異なります。この正則化の効果を十分に活用するには、すべての学習エポックの前に学習データをシャッフルします。学習中にデータをシャッフルする頻度を指定するには、trainingOptions の名前と値のペアの引数 'Shuffle' を使用します。

バッチ正規化演算は、各チャネルについて、空間領域、時間領域、および観測値の各次元における平均 μ_B と分散 σ_B² をまず計算することで、入力の要素 x_i を正規化します。その後、正規化された活性化を次のように計算します。

$\hat{x_{i}} = \frac{x_{i} - μ_{B}}{\sqrt{σ_{B}^{2} + ϵ}},$

ここで、ϵ は、分散が非常に小さいときに数値安定性を向上させる定数です。

ゼロ平均と単位分散をもつ入力がバッチ正規化後の演算に最適ではない可能性を考慮して、バッチ正規化演算は、次の変換を使用して活性化のさらなるシフトとスケーリングを行います。

$y_{i} = γ {\hat{x}}_{i} + β,$

ここで、オフセット β とスケール係数 γ は、ネットワークの学習中に更新される学習可能パラメーターです。

学習後にネットワークによる予測を行うには、バッチ正規化において一定の平均と分散を使用してデータを正規化する必要があります。この一定の平均と分散を取得するには、学習後に学習データから計算するか、実行中の統計計算を使用して学習中に近似値を計算します。

層は TrainedMean と TrainedVariance を使用して、予測時に入力を正規化します。

層の入力形式と出力形式

層配列内または層グラフ内の層は、書式化された dlarray オブジェクトとしてデータを渡します。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発時などにおける自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、BatchNormalizationLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable オプションが false に設定された FunctionLayer オブジェクトに層の出力が渡される場合、その層は書式設定されていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。

入力形式	出力形式
`"CB"` (channel、batch)	`"CB"` (channel、batch)
`"SCB"` (spatial、channel、batch)	`"SCB"` (spatial、channel、batch)
`"SSCB"` (spatial、spatial、channel、batch)	`"SSCB"` (spatial、spatial、channel、batch)
`"SSSCB"` (spatial、spatial、spatial、channel、batch)	`"SSSCB"` (spatial、spatial、spatial、channel、batch)
`"CBT"` (channel、batch、time)	`"CBT"` (channel、batch、time)
`"SCBT"` (spatial、spatial、channel、batch)	`"SCBT"` (spatial、spatial、channel、batch)
`"SSCBT"` (spatial、spatial、channel、batch、time)	`"SSCBT"` (spatial、spatial、channel、batch、time)
`"SSSCBT"` (spatial、spatial、spatial、channel、batch、time)	`"SSSCBT"` (spatial、spatial、spatial、channel、batch、time)

参照

[1] Ioffe, Sergey, and Christian Szegedy. “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.” Preprint, submitted March 2, 2015. https://arxiv.org/abs/1502.03167.

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

R2017b で導入

参考

batchNormalizationLayer

説明

作成

構文

説明

プロパティ

バッチ正規化

TrainedMean — 予測に使用される平均統計値 数値ベクトル

TrainedVariance — 予測に使用される分散統計値 数値ベクトル

Epsilon — ミニバッチの分散に加算する定数 1e-5 (既定値) | 数値スカラー

NumChannels — 入力チャネル数 'auto' (既定値) | 正の整数

パラメーターと初期化

ScaleInitializer — チャネル スケール係数を初期化する関数 'ones' (既定値) | 'narrow-normal' | 関数ハンドル

OffsetInitializer — チャネル オフセットを初期化する関数 'zeros' (既定値) | 'ones' | 'narrow-normal' | 関数ハンドル

Scale — チャネル スケール係数 [] (既定値) | 数値ベクトル

Offset — チャネル オフセット [] (既定値) | 数値ベクトル

MeanDecay — 移動平均を計算するための減衰値 0.1 (既定値) | 0 ～ 1 の数値スカラー

VarianceDecay — 移動分散を計算するための減衰値 0.1 (既定値) | 0 ～ 1 の数値スカラー

学習率および正則化

ScaleLearnRateFactor — スケール係数の学習率係数 1 (既定値) | 非負のスカラー

OffsetLearnRateFactor — オフセットの学習率係数 1 (既定値) | 非負のスカラー

ScaleL2Factor — スケール係数の L2 正則化係数 1 (既定値) | 非負のスカラー

OffsetL2Factor — オフセットの L2 正則化係数 1 (既定値) | 非負のスカラー

層

Name — 層の名前 '' (既定値) | 文字ベクトル | string スカラー

NumInputs — 入力の数 1 (既定値)

InputNames — 入力名 {'in'} (既定値)

NumOutputs — 出力の数 1 (既定値)

OutputNames — 出力名 {'out'} (既定値)

例

バッチ正規化層の作成

アルゴリズム

バッチ正規化層

層の入力形式と出力形式

参照

拡張機能

C/C++ コード生成 MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成 GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

参考

トピック

`TrainedMean` — 予測に使用される平均統計値
数値ベクトル

`TrainedVariance` — 予測に使用される分散統計値
数値ベクトル

`Epsilon` — ミニバッチの分散に加算する定数
`1e-5` (既定値) | 数値スカラー

`NumChannels` — 入力チャネル数
`'auto'` (既定値) | 正の整数

`ScaleInitializer` — チャネルスケール係数を初期化する関数
`'ones'` (既定値) | `'narrow-normal'` | 関数ハンドル

`OffsetInitializer` — チャネルオフセットを初期化する関数
`'zeros'` (既定値) | `'ones'` | `'narrow-normal'` | 関数ハンドル

`Scale` — チャネルスケール係数
`[]` (既定値) | 数値ベクトル

`Offset` — チャネルオフセット
`[]` (既定値) | 数値ベクトル

`MeanDecay` — 移動平均を計算するための減衰値
0.1 (既定値) | `0` ～ `1` の数値スカラー

`VarianceDecay` — 移動分散を計算するための減衰値
0.1 (既定値) | `0` ～ `1` の数値スカラー

`ScaleLearnRateFactor` — スケール係数の学習率係数
`1` (既定値) | 非負のスカラー

`OffsetLearnRateFactor` — オフセットの学習率係数
`1` (既定値) | 非負のスカラー

`ScaleL2Factor` — スケール係数の L₂ 正則化係数
`1` (既定値) | 非負のスカラー

`OffsetL2Factor` — オフセットの L₂ 正則化係数
`1` (既定値) | 非負のスカラー

`Name` — 層の名前
`''` (既定値) | 文字ベクトル | string スカラー

`NumInputs` — 入力の数
`1` (既定値)

`InputNames` — 入力名
`{'in'}` (既定値)

`NumOutputs` — 出力の数
`1` (既定値)

`OutputNames` — 出力名
`{'out'}` (既定値)

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。