instanceNormalizationLayer

インスタンス正規化層

説明

インスタンス正規化層は、各チャネル全体におけるデータのミニバッチの正規化を、各観測値について個別に行います。畳み込みニューラル ネットワークの学習の収束性能を上げ、ネットワークのハイパーパラメーターに対する感度を下げるには、畳み込み層の間にあるインスタンス正規化層と、ReLU 層などの非線形性を使用します。

正規化後、この層は、学習可能なスケール係数 γ だけ入力をスケーリングし、それを学習可能なオフセット β だけシフトします。

作成

構文

layer = instanceNormalizationLayer

layer = instanceNormalizationLayer(Name,Value)

説明

layer = instanceNormalizationLayer は、インスタンス正規化層を作成します。

layer = instanceNormalizationLayer(Name,Value) は、インスタンス正規化層を作成し、1 つ以上の名前と値のペアの引数を使用してオプションの Epsilon、パラメーターと初期化、学習率および正則化、および Name プロパティを設定します。複数の名前と値の引数を指定できます。各プロパティ名を引用符で囲みます。

例: instanceNormalizationLayer('Name','instancenorm') は、'instancenorm' という名前のインスタンス正規化層を作成します。

プロパティ

インスタンス正規化

Epsilon — ミニバッチの分散に加算する定数

1e-5 (既定値) | 数値スカラー

ミニバッチの分散に加算する定数。1e-5 以上の数値スカラーとして指定します。

層は、正規化の前にミニバッチの分散にこの定数を加算して、数値安定性を確保し、ゼロ除算を回避します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

NumChannels — 入力チャネル数

'auto' (既定値) | 正の整数

このプロパティは読み取り専用です。

入力チャネル数。次のいずれかとして指定します。

• 'auto' — 学習時に入力チャネルの数を自動的に決定します。

• 正の整数 — 指定された数の入力チャネルの層を構成します。NumChannels と層入力データのチャネル数は一致しなければなりません。たとえば、入力が RGB イメージの場合、NumChannels は 3 でなければなりません。入力が 16 個のフィルターをもつ畳み込み層の出力である場合、NumChannels は 16 でなければなりません。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

パラメーターと初期化

ScaleInitializer — チャネル スケール係数を初期化する関数

'ones' (既定値) | 'narrow-normal' | 関数ハンドル

チャネル スケール係数を初期化する関数。次のいずれかに指定します。

• 'ones' – 1 でチャネル スケール係数を初期化します。

• 'zeros' – 0 でチャネル スケール係数を初期化します。

• 'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、チャネル スケール係数を初期化します。

• 関数ハンドル – カスタム関数でチャネル スケール係数を初期化します。関数ハンドルを指定する場合、関数は scale = func(sz) という形式でなければなりません。ここで、sz はスケールのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Scale プロパティが空の場合にのみチャネル スケール係数が初期化されます。

データ型: char | string | function_handle

OffsetInitializer — チャネル オフセットを初期化する関数

'zeros' (既定値) | 'ones' | 'narrow-normal' | 関数ハンドル

チャネル オフセットを初期化する関数。次のいずれかに指定します。

• 'zeros' – 0 でチャネル オフセットを初期化します。

• 'ones' – 1 でチャネル オフセットを初期化します。

• 'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、チャネル オフセットを初期化します。

• 関数ハンドル – カスタム関数でチャネル オフセットを初期化します。関数ハンドルを指定する場合、関数は offset = func(sz) という形式でなければなりません。ここで、sz はスケールのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Offset プロパティが空の場合にのみチャネル オフセットが初期化されます。

データ型: char | string | function_handle

Scale — チャネル スケール係数

[] (既定値) | 数値配列

チャネル スケール係数 γ。数値配列として指定します。

チャネル スケール係数は学習可能なパラメーターです。ネットワークの学習時に、Scale が空ではない場合、trainNetwork は Scale プロパティを初期値として使用します。Scale が空の場合、trainNetwork は ScaleInitializer によって指定された初期化子を使用します。

学習時、Scale は次のいずれかです。

• 2 次元イメージ入力の場合、サイズが 1 x 1 x NumChannels の数値配列

• 3 次元イメージ入力の場合、サイズが 1 x 1 x 1 x NumChannels の数値配列

• 特徴入力またはシーケンス入力の場合、サイズが NumChannels 行 1 列の数値配列

データ型: single | double

Offset — チャネル オフセット

[] (既定値) | 数値配列

チャネル オフセット β。数値配列として指定します。

チャネル オフセットは学習可能なパラメーターです。ネットワークの学習時に、Offset が空ではない場合、trainNetwork は Offset プロパティを初期値として使用します。Offset が空の場合、trainNetwork は OffsetInitializer によって指定された初期化子を使用します。

学習時、Offset は次のいずれかです。

• 2 次元イメージ入力の場合、サイズが 1 x 1 x NumChannels の数値配列

• 3 次元イメージ入力の場合、サイズが 1 x 1 x 1 x NumChannels の数値配列

• 特徴入力またはシーケンス入力の場合、サイズが NumChannels 行 1 列の数値配列

データ型: single | double

学習率および正則化

ScaleLearnRateFactor — スケール係数の学習率係数

1 (既定値) | 非負のスカラー

スケール係数の学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、層のスケール係数の学習率が決定されます。たとえば、ScaleLearnRateFactor が 2 の場合、層のスケール係数の学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

OffsetLearnRateFactor — オフセットの学習率係数

1 (既定値) | 非負のスカラー

オフセットの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、層のオフセットの学習率が決定されます。たとえば、OffsetLearnRateFactor が 2 の場合、層のオフセットの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

ScaleL2Factor — スケール係数の L₂ 正則化係数

1 (既定値) | 非負のスカラー

スケール係数の L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、層のスケール係数の学習率が決定されます。たとえば、ScaleL2Factor が 2 の場合、層のオフセットの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

OffsetL2Factor — オフセットの L₂ 正則化係数

1 (既定値) | 非負のスカラー

オフセットの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、層のオフセットの学習率が決定されます。たとえば、OffsetL2Factor が 2 の場合、層のオフセットの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、関数 trainNetwork、assembleNetwork、layerGraph、および dlnetwork は、名前が '' の層に自動的に名前を割り当てます。

データ型: char | string

NumInputs — 入力の数

1 (既定値)

このプロパティは読み取り専用です。

層の入力の数。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

{'in'} (既定値)

このプロパティは読み取り専用です。

層の入力名。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

1 (既定値)

このプロパティは読み取り専用です。

層の出力の数。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

{'out'} (既定値)

このプロパティは読み取り専用です。

層の出力名。この層には単一の出力のみがあります。

データ型: cell

例

インスタンス正規化層の作成

'instancenorm' という名前のインスタンス正規化層を作成します。

layer = instanceNormalizationLayer('Name','instancenorm')

layer = 
  InstanceNormalizationLayer with properties:

           Name: 'instancenorm'
    NumChannels: 'auto'

   Hyperparameters
        Epsilon: 1.0000e-05

   Learnable Parameters
         Offset: []
          Scale: []

  Show all properties

Layer 配列にインスタンス正規化層を含めます。

layers = [
    imageInputLayer([28 28 3])
    convolution2dLayer(5,20)
    instanceNormalizationLayer
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  8x1 Layer array with layers:

     1   ''   Image Input              28x28x3 images with 'zerocenter' normalization
     2   ''   2-D Convolution          20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Instance Normalization   Instance normalization
     4   ''   ReLU                     ReLU
     5   ''   2-D Max Pooling          2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Fully Connected          10 fully connected layer
     7   ''   Softmax                  softmax
     8   ''   Classification Output    crossentropyex

アルゴリズム

インスタンス正規化演算は、各観測値の各チャネルについて、空間次元と時間次元における平均 μ_I と分散 σ_I² をまず個別に計算することで、入力の要素 x_i を正規化します。その後、正規化された活性化を次のように計算します。

$$\widehat{x_i}=\frac{x_i-{\mu }_I}{\sqrt{{\sigma }_I^2+ϵ}},$$

ここで、ϵ は、分散が非常に小さいときに数値安定性を向上させる定数です。

ゼロ平均と単位分散をもつ入力がインスタンス正規化後の演算に最適ではない可能性を考慮して、インスタンス正規化演算は、次の変換を使用して活性化のさらなるシフトとスケーリングを行います。

$$y_i=\gamma {\widehat{x}}_i+\beta ,$$

ここで、オフセット β とスケール係数 γ は、ネットワークの学習中に更新される学習可能なパラメーターです。

バージョン履歴

R2021a で導入

参考

trainNetwork | trainingOptions | reluLayer | convolution2dLayer | fullyConnectedLayer | batchNormalizationLayer | groupNormalizationLayer | layerNormalizationLayer

トピック

• MATLAB による深層学習
• 畳み込みニューラル ネットワークの層の指定
• 深層学習層の一覧

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい