TransposedConvolution3DLayer

3 次元転置畳み込み層

説明

3 次元転置畳み込み層では 3 次元の特徴マップがアップサンプリングされます。

この層は、間違って "逆畳み込み" 層または "deconv" 層と呼ばれることがあります。この層は畳み込みの転置であり、逆畳み込みは実行しません。

作成

transposedConv3dLayer を使用して 3 次元転置畳み込み層を作成します。

プロパティ

転置畳み込み

FilterSize — フィルターの高さ、幅、および深さ

3 つの正の整数のベクトル

フィルターの高さ、幅、および深さ。3 つの正の整数のベクトル [h w d] として指定します。ここで、h は高さ、w は幅、d は深さです。FilterSize は、入力でニューロンが結合する局所領域のサイズを定義します。

層を作成する場合、FilterSize をスカラーとして指定して、高さ、幅、および深さに同じ値を使用できます。

例: [5 5 5] は高さ、幅、および深さが 5 であるフィルターを指定します。

NumFilters — フィルターの数

正の整数

このプロパティは、オブジェクト作成後、読み取り専用になります。TransposedConvolution3DLayer オブジェクトを作成する場合、このプロパティを設定するには、対応する位置入力の引数を使用します。

フィルターの数。正の整数として指定します。この数字は、層の出力のチャネル (特徴マップ) の数を決定します。

データ型: double

Stride — 入力を走査するステップ サイズ

[1 1 1] (既定値) | 3 つの正の整数のベクトル

入力を 3 次元で走査するステップ サイズ。3 つの正の整数のベクトル [a b c] として指定します。ここで、a は垂直方向のステップ サイズ、b は水平方向のステップ サイズ、c は深さに沿ったステップ サイズです。層を作成する場合、Stride をスカラーとして指定して、3 つのすべての方向のステップ サイズに同じ値を使用できます。

例: [2 3 1] は、垂直方向のステップ サイズを 2、水平方向のステップ サイズを 3、深さに沿ったステップ サイズを 1 に指定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

CroppingMode — トリミング サイズを決定するメソッド

'manual' (既定値) | 'same'

トリミング サイズを決定するメソッド。'manual' または 'same' として指定します。

ソフトウェアは、層の作成時に指定した 'Cropping' の値に基づいて CroppingMode の値を自動的に設定します。

• Cropping オプションを数値に設定した場合、層の CroppingMode プロパティが自動的に 'manual' に設定されます。

• 'Cropping' オプションを 'same' に設定すると、ソフトウェアは層の CroppingMode プロパティを自動的に 'same' に設定し、出力サイズが inputSize .* Stride と等しくなるようにトリミングを設定します。ここで、inputSize は層入力の高さ、幅、および深さです。

トリミング サイズを指定するには、transposedConv3dLayer の 'Cropping' オプションを使用します。

CroppingSize — 出力サイズの削減

[0 0 0;0 0 0] (既定値) | 非負の整数の行列

出力サイズの削減、非負の整数の行列 [t l f; b r bk] として指定します。t、l、f、b、r、bk は、それぞれ入力の上端、左端、前端、下端、右端、後端からトリミングする量です。

トリミング サイズを手動で指定するには、transposedConv2dLayer の 'Cropping' オプションを使用します。

例: [0 1 0 1 0 1]

NumChannels — 入力チャネル数

"auto" (既定値) | 正の整数

このプロパティは、オブジェクト作成後、読み取り専用になります。TransposedConvolution3DLayer オブジェクトを作成する場合、このプロパティを設定するには、対応する名前と値の引数を使用します。

入力チャネル数。次のいずれかの値として指定します。

• "auto" — 学習時に入力チャネルの数を自動的に決定します。

• 正の整数 — 指定された数の入力チャネルの層を構成します。NumChannels と層入力データのチャネル数は一致しなければなりません。たとえば、入力が RGB イメージの場合、NumChannels は 3 でなければなりません。入力が 16 個のフィルターをもつ畳み込み層の出力である場合、NumChannels は 16 でなければなりません。

TransposedConvolution3DLayer オブジェクトは、このプロパティを文字ベクトルまたは double 型として格納します。

データ型: double | char

パラメーターと初期化

WeightsInitializer — 重みを初期化する関数

"glorot" (既定値) | "he" | "narrow-normal" | "zeros" | "ones" | 関数ハンドル

重みを初期化する関数。次のいずれかに指定します。

• "glorot" — Glorot 初期化子[1] (Xavier 初期化子とも呼ばれる) を使用して重みを初期化します。Glorot 初期化子は、平均 0、分散 2/(numIn + numOut) の正規分布から個別にサンプリングを行います。ここで、numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels および numOut = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumFilters です。

• "he" — He 初期化子[2]を使用して重みを初期化します。He 初期化子は、平均 0、分散 2/numIn の正規分布からサンプリングを行います。ここで、numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels です。

• "narrow-normal" – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、重みを初期化します。

• "zeros" — 0 で重みを初期化します。

• "ones" — 1 で重みを初期化します。

• 関数ハンドル — カスタム関数で重みを初期化します。関数ハンドルを指定する場合、関数の構文は weights = func(sz) という形式でなければなりません。ここで、sz は重みのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Weights プロパティが空の場合にのみ重みが初期化されます。

データ型: char | string | function_handle

BiasInitializer — バイアスを初期化する関数

"zeros" (既定値) | "narrow-normal" | "ones" | 関数ハンドル

バイアスを初期化する関数。次のいずれかの値として指定します。

• "zeros" — 0 でバイアスを初期化します。

• "ones" — 1 でバイアスを初期化します。

• "narrow-normal" — 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、バイアスを初期化します。

• 関数ハンドル — カスタム関数でバイアスを初期化します。関数ハンドルを指定する場合、関数は bias = func(sz) という形式でなければなりません。ここで、sz はバイアスのサイズです。

この層では、Bias プロパティが空の場合にのみバイアスが初期化されます。

TransposedConvolution3DLayer オブジェクトは、このプロパティを文字ベクトルまたは関数ハンドルとして格納します。

データ型: char | string | function_handle

Weights — 層の重み

[] (既定値) | 数値配列

転置畳み込み層の重み。数値配列として指定します。

層の重みは学習可能なパラメーターです。層の Weights プロパティを使用して、重みの初期値を直接指定できます。ネットワークに学習させるときに、層の Weights プロパティが空でない場合、trainnet 関数は Weights プロパティを初期値として使用します。Weights プロパティが空の場合、ソフトウェアは層の WeightsInitializer プロパティによって指定された初期化子を使用します。

学習時に、Weights は FilterSize(1)×FilterSize(2)×FilterSize(3)×NumFilters×NumChannels の配列になります。

データ型: single | double

Bias — 層のバイアス

[] (既定値) | 数値配列

転置畳み込み層のバイアス。数値配列として指定します。

層のバイアスは学習可能なパラメーターです。ニューラル ネットワークに学習させるときに、Bias が空でない場合、trainnet 関数は Bias プロパティを初期値として使用します。Bias が空の場合、ソフトウェアは BiasInitializer プロパティによって指定された初期化子を使用します。

学習時に、Bias は 1×1×1×NumFilters の配列になります。

データ型: single | double

学習率および正則化

WeightLearnRateFactor — 重みの学習率係数

1 (既定値) | 非負のスカラー

重みの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層の重みの学習率が決定されます。たとえば、WeightLearnRateFactor が 2 の場合、この層の重みの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

データ型: double

BiasLearnRateFactor — バイアスの学習率係数

1 (既定値) | 非負のスカラー

バイアスの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層のバイアスの学習率が決定されます。たとえば、BiasLearnRateFactor が 2 の場合、層のバイアスの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

TransposedConvolution3DLayer オブジェクトは、このプロパティを double 型として格納します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

WeightL2Factor — 重みの L₂ 正則化係数

1 (既定値) | 非負のスカラー

重みの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層の重みの L₂ 正則化が決定されます。たとえば、WeightL2Factor が 2 の場合、この層の重みの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

データ型: double

BiasL2Factor — バイアスの L₂ 正則化係数

0 (既定値) | 非負のスカラー

バイアスの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層のバイアスの L₂ 正則化が決定されます。たとえば、BiasL2Factor が 2 の場合、この層のバイアスの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル L₂ 正則化係数が決定されます。

TransposedConvolution3DLayer オブジェクトは、このプロパティを double 型として格納します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

層

Name — 層の名前

'' (既定値) | 文字ベクトル

層の名前。文字ベクトルとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

データ型: char

NumInputs — 入力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層への入力の数。1 として格納されます。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

読み取り専用: {'in'} (既定値)

この プロパティ は読み取り専用です。

入力名。{'in'} として格納されます。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層からの出力の数。1 として格納されます。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

読み取り専用: {'out'} (既定値)

この プロパティ は読み取り専用です。

出力名。{'out'} として格納されます。この層には単一の出力のみがあります。

データ型: cell

例

3 次元転置畳み込み層の作成

高さ、幅、および深さがそれぞれ 11 であるフィルターを 32 個もつ 3 次元転置畳み込み層を作成します。水平方向と垂直方向に 4 のストライドを使用し、奥行き方向に 2 のストライドを使用します。

layer = transposedConv3dLayer(11,32,'Stride',[4 4 2])

layer = 
  TransposedConvolution3DLayer with properties:

            Name: ''

   Hyperparameters
      FilterSize: [11 11 11]
     NumChannels: 'auto'
      NumFilters: 32
          Stride: [4 4 2]
    CroppingMode: 'manual'
    CroppingSize: [2×3 double]

   Learnable Parameters
         Weights: []
            Bias: []

  Show all properties

アルゴリズム

3 次元転置畳み込み層

3 次元転置畳み込み層では 3 次元の特徴マップがアップサンプリングされます。

"標準の" 畳み込み演算は、入力にスライディング畳み込みフィルターを適用して入力を "ダウンサンプリング" します。入力と出力をフラット化することで、層の重みとバイアスから派生させることができる畳み込み行列 C とバイアス ベクトル B に関する畳み込み演算を $$Y=CX+B$$ として表すことができます。

同様に、"転置" 畳み込み演算は、入力にスライディング畳み込みフィルターを適用して入力を "アップサンプリング" します。スライディング フィルターを使用して入力をダウンサンプリングする代わりにアップサンプリングするには、対応するフィルターのエッジのサイズから 1 を減じたサイズのパディングを使用して、層の入力の各エッジを 0 でパディングします。

入力と出力をフラット化することで、転置畳み込み演算は $$Y=C^{\top }X+B$$ と等価になります。ここで、C および B は、それぞれ、層の重みとバイアスから派生させ、標準の畳み込みで使用する畳み込み行列とバイアス ベクトルを表します。この処理は、標準の畳み込み層における backward 関数と等価です。

層の入力形式と出力形式

層配列内または層グラフ内の大半の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発などの自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、TransposedConvolution3DLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable プロパティが 0 (false) に設定された FunctionLayer オブジェクトに層の出力が渡される場合、その層は形式を整えていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。

入力形式	出力形式
"SSSCB" (spatial、spatial、spatial、channel、batch)	"SSSCB" (spatial、spatial、spatial、channel、batch)
"SSSC" (spatial、spatial、spatial、channel)	"SSSC" (spatial、spatial、spatial、channel)

dlnetwork オブジェクトでは、TransposedConvolution3DLayer オブジェクトもこれらの入力形式と出力形式の組み合わせをサポートします。

入力形式	出力形式
"SSSCBT" (spatial、spatial、spatial、channel、batch、time)	"SSSCBT" (spatial、spatial、spatial、channel、batch、time)
"SSSCT" (spatial、spatial、spatial、channel、time)	"SSSCT" (spatial、spatial、spatial、channel、time)

参照

[1] Glorot, Xavier, and Yoshua Bengio. "Understanding the Difficulty of Training Deep Feedforward Neural Networks." In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, 249–356. Sardinia, Italy: AISTATS, 2010. https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In 2015 IEEE International Conference on Computer Vision (ICCV), 1026–34. Santiago, Chile: IEEE, 2015. https://doi.org/10.1109/ICCV.2015.123

バージョン履歴

R2019a で導入

参考

transposedConv2dLayer | transposedConv3dLayer | maxPooling3dLayer | averagePooling3dLayer | convolution3dLayer

トピック

• 深層学習を使用した脳腫瘍の 3 次元セグメンテーション (Image Processing Toolbox)
• MATLAB による深層学習
• 深層学習層の一覧