transposedConv3dLayer

3 次元転置畳み込み層

構文

layer = transposedConv3dLayer(filterSize,numFilters)

layer = transposedConv3dLayer(filterSize,numFilters,Name,Value)

説明

3 次元転置畳み込み層では 3 次元の特徴マップがアップサンプリングされます。

この層は、間違って "逆畳み込み" 層または "deconv" 層と呼ばれることがあります。この層は、逆畳み込みを実行するのではなく、畳み込みの転置を実行します。

layer = transposedConv3dLayer(filterSize,numFilters) は、3 次元転置畳み込み層を返し、FilterSize プロパティおよび NumFilters プロパティを設定します。

layer = transposedConv3dLayer(filterSize,numFilters,Name,Value) は、3 次元転置畳み込み層を返し、1 つ以上の名前と値のペアの引数を使用して追加のオプションを指定します。

例

3 次元転置畳み込み層の作成

高さ、幅、および深さがそれぞれ 11 であるフィルターを 32 個もつ 3 次元転置畳み込み層を作成します。水平方向と垂直方向に 4 のストライドを使用し、奥行き方向に 2 のストライドを使用します。

layer = transposedConv3dLayer(11,32,'Stride',[4 4 2])

layer = 
  TransposedConvolution3DLayer with properties:

            Name: ''

   Hyperparameters
      FilterSize: [11 11 11]
     NumChannels: 'auto'
      NumFilters: 32
          Stride: [4 4 2]
    CroppingMode: 'manual'
    CroppingSize: [2×3 double]

   Learnable Parameters
         Weights: []
            Bias: []

  Show all properties

入力引数

filterSize — フィルターの高さ、幅、および深さ

正の整数 | 3 つの正の整数のベクトル

フィルターの高さ、幅、および深さ。正の整数、または 3 つの正の整数から成るベクトル [h w d] として指定します。h は高さ、w は幅、d は深さです。フィルターのサイズは、入力でニューロンが結合する局所領域のサイズを定義します。

filterSize がスカラーである場合、ソフトウェアは 3 つのすべての次元について同じ値を使用します。

例: [5 6 7] は、高さ、幅、および深さがそれぞれ 5、6、7 であるフィルターを指定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

numFilters — フィルターの数

正の整数

フィルターの数。正の整数として指定します。この数値は、入力の同じ領域に結合する層のニューロンの数に対応します。このパラメーターは、層の出力におけるチャネル (特徴マップ) の数を決定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、コンマを使用して名前と値をそれぞれ区切り、Name を引用符で囲みます。

例: transposedConv3dLayer(11,96,'Stride',4) は、サイズが 11 でストライドが 4 である 96 個のフィルターをもつ 3 次元転置畳み込み層を作成します。

転置畳み込み

Stride — 入力を走査するステップ サイズ

[1 1 1] (既定値) | 3 つの正の整数のベクトル

入力を 3 次元で走査するステップ サイズ。3 つの正の整数のベクトル [a b c] として指定します。ここで、a は垂直方向のステップ サイズ、b は水平方向のステップ サイズ、c は深さに沿ったステップ サイズです。層を作成する場合、Stride をスカラーとして指定して、3 つのすべての方向のステップ サイズに同じ値を使用できます。

例: [2 3 1] は、垂直方向のステップ サイズを 2、水平方向のステップ サイズを 3、深さに沿ったステップ サイズを 1 に指定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

Cropping — 出力サイズの削減

0 (既定値) | "same" | 非負の整数のベクトル | 非負の整数の行列

出力サイズの削減。次のいずれかとして指定します。

• 'same' – 出力サイズが inputSize.*Stride と等しくなるようにトリミングを設定します。ここで、inputSize は層の入力の高さ、幅、および深さです。Cropping オプションを "same" に設定した場合、層の CroppingMode プロパティが自動的に 'same' に設定されます。

  可能な場合、上下、左右、前後が同じ量だけトリミングされます。垂直方向のトリミング量が奇数の場合、下にある行が余分にトリミングされます。水平方向のトリミング量が奇数の場合、右にある列が余分にトリミングされます。深さ方向のトリミング量が奇数である場合、後方にある平面が余分にトリミングされます。

• 正の整数 – すべての端から指定された量のデータがトリミングされます。

• 非負の整数から成るベクトル [a b c] – 上下の端から a だけトリミングし、左右の端から b だけトリミングし、前後の端から c だけトリミングします。

• 非負の整数から成る行列 [t l f; b r bk] — 入力の上端、左端、前方、下端、右端、後方からそれぞれ t、l、f、b、r、bk だけトリミングします。

Cropping オプションを数値に設定した場合、層の CroppingMode プロパティが自動的に 'manual' に設定されます。

例: [1 2 2]

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

NumChannels — 入力チャネル数

"auto" (既定値) | 正の整数

入力チャネル数。次のいずれかとして指定します。

• "auto" — 学習時に入力チャネルの数を自動的に決定します。

• 正の整数 — 指定された数の入力チャネルの層を構成します。NumChannels と層入力データのチャネル数は一致しなければなりません。たとえば、入力が RGB イメージの場合、NumChannels は 3 でなければなりません。入力が 16 個のフィルターをもつ畳み込み層の出力である場合、NumChannels は 16 でなければなりません。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

パラメーターと初期化

WeightsInitializer — 重みを初期化する関数

"glorot" (既定値) | "he" | "narrow-normal" | "zeros" | "ones" | 関数ハンドル

重みを初期化する関数。次のいずれかに指定します。

• "glorot" – Glorot 初期化子[1] (Xavier 初期化子とも呼ばれる) を使用して重みを初期化します。Glorot 初期化子は、平均 0、分散 2/(numIn + numOut) の一様分布から個別にサンプリングを行います。ここで、numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels および numOut = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumFilters です。

• "he" – He 初期化子[2]を使用して重みを初期化します。He 初期化子は、平均 0、分散 2/numIn の正規分布からサンプリングを行います。ここで、numIn = FilterSize(1)*FilterSize(2)*FilterSize(3)*NumChannels です。

• "narrow-normal" – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、重みを初期化します。

• "zeros" – 0 で重みを初期化します。

• "ones" – 1 で重みを初期化します。

• 関数ハンドル – カスタム関数で重みを初期化します。関数ハンドルを指定する場合、関数は weights = func(sz) という形式でなければなりません。ここで、sz は重みのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

この層では、Weights プロパティが空の場合にのみ重みが初期化されます。

データ型: char | string | function_handle

BiasInitializer — バイアスを初期化する関数

"zeros" (既定値) | "narrow-normal" | "ones" | 関数ハンドル

バイアスを初期化する関数。次のいずれかの値として指定します。

• "zeros" — 0 でバイアスを初期化します。

• "ones" — 1 でバイアスを初期化します。

• "narrow-normal" — 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、バイアスを初期化します。

• 関数ハンドル — カスタム関数でバイアスを初期化します。関数ハンドルを指定する場合、関数は bias = func(sz) という形式でなければなりません。ここで、sz はバイアスのサイズです。

この層では、Bias プロパティが空の場合にのみバイアスが初期化されます。

transposedConv3dLayer オブジェクトは、このプロパティを文字ベクトルまたは関数ハンドルとして格納します。

データ型: char | string | function_handle

Weights — 層の重み

[] (既定値) | 数値配列

転置畳み込み演算で使用する層の重み。FilterSize(1)×FilterSize(2)×FilterSize(3)×numFilters×NumChannels の数値配列、または [] として指定します。

層の重みは学習可能なパラメーターです。層の Weights プロパティを使用して、重みの初期値を直接指定できます。ネットワークに学習させるときに、層の Weights プロパティが空でない場合、trainnet 関数は Weights プロパティを初期値として使用します。Weights プロパティが空の場合、ソフトウェアは層の WeightsInitializer プロパティによって指定された初期化子を使用します。

データ型: single | double

Bias — 層のバイアス

[] (既定値) | 数値配列

転置畳み込み演算で使用する層のバイアス。1×1×1×numFilters の数値配列、または [] として指定します。

層のバイアスは学習可能なパラメーターです。ニューラル ネットワークに学習させるときに、Bias が空でない場合、trainnet 関数は Bias プロパティを初期値として使用します。Bias が空の場合、ソフトウェアは BiasInitializer によって指定された初期化子を使用します。

データ型: single | double

学習率および正則化

WeightLearnRateFactor — 重みの学習率係数

1 (既定値) | 非負のスカラー

重みの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層の重みの学習率が決定されます。たとえば、WeightLearnRateFactor が 2 の場合、この層の重みの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

BiasLearnRateFactor — バイアスの学習率係数

1 (既定値) | 非負のスカラー

バイアスの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層のバイアスの学習率が決定されます。たとえば、BiasLearnRateFactor が 2 の場合、層のバイアスの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

WeightL2Factor — 重みの L₂ 正則化係数

1 (既定値) | 非負のスカラー

重みの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層の重みの L₂ 正則化が決定されます。たとえば、WeightL2Factor が 2 の場合、この層の重みの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

BiasL2Factor — バイアスの L₂ 正則化係数

0 (既定値) | 非負のスカラー

バイアスの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層のバイアスの L₂ 正則化が決定されます。たとえば、BiasL2Factor が 2 の場合、この層のバイアスの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル L₂ 正則化係数が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

transposedConv3dLayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

出力引数

layer — 3 次元転置畳み込み層

TransposedConvolution3DLayer オブジェクト

3 次元転置畳み込み層。TransposedConvolution3dLayer オブジェクトとして返されます。

アルゴリズム

3 次元転置畳み込み層

3 次元転置畳み込み層では 3 次元の特徴マップがアップサンプリングされます。

"標準の" 畳み込み演算は、入力にスライディング畳み込みフィルターを適用して入力を "ダウンサンプリング" します。入力と出力をフラット化することで、層の重みとバイアスから派生させることができる畳み込み行列 C とバイアス ベクトル B に関する畳み込み演算を $$Y=CX+B$$ として表すことができます。

同様に、"転置" 畳み込み演算は、入力にスライディング畳み込みフィルターを適用して入力を "アップサンプリング" します。スライディング フィルターを使用して入力をダウンサンプリングする代わりにアップサンプリングするには、対応するフィルターのエッジのサイズから 1 を減じたサイズのパディングを使用して、層の入力の各エッジを 0 でパディングします。

入力と出力をフラット化することで、転置畳み込み演算は $$Y=C^{\top }X+B$$ と等価になります。ここで、C および B は、それぞれ、層の重みとバイアスから派生させ、標準の畳み込みで使用する畳み込み行列とバイアス ベクトルを表します。この処理は、標準の畳み込み層における backward 関数と等価です。

層の入力形式と出力形式

層配列内または層グラフ内の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発などの自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、TransposedConvolution3DLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable プロパティが 0 (false) に設定された FunctionLayer オブジェクトに層の出力が渡される場合、その層は形式を整えていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。

入力形式	出力形式
"SSSCB" (spatial、spatial、spatial、channel、batch)	"SSSCB" (spatial、spatial、spatial、channel、batch)
"SSSC" (spatial、spatial、spatial、channel)	"SSSC" (spatial、spatial、spatial、channel)

dlnetwork オブジェクトでは、TransposedConvolution3DLayer オブジェクトもこれらの入力形式と出力形式の組み合わせをサポートします。

入力形式	出力形式
"SSSCBT" (spatial、spatial、spatial、channel、batch、time)	"SSSCBT" (spatial、spatial、spatial、channel、batch、time)
"SSSCT" (spatial、spatial、spatial、channel、time)	"SSSCT" (spatial、spatial、spatial、channel、time)

参照

[1] Glorot, Xavier, and Yoshua Bengio. "Understanding the Difficulty of Training Deep Feedforward Neural Networks." In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, 249–356. Sardinia, Italy: AISTATS, 2010. https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In 2015 IEEE International Conference on Computer Vision (ICCV), 1026–34. Santiago, Chile: IEEE, 2015. https://doi.org/10.1109/ICCV.2015.123

バージョン履歴

R2019a で導入

参考

maxPooling3dLayer | averagePooling3dLayer | TransposedConvolution3dLayer | SoftmaxLayer | transposedConv2dLayer

トピック

• 深層学習を使用した脳腫瘍の 3 次元セグメンテーション
• MATLAB による深層学習
• 深層学習層の一覧