最新のリリースでは、このページがまだ翻訳されていません。 このページの最新版は英語でご覧になれます。

fullyConnectedLayer

全結合層

説明

全結合層は、入力に重み行列を乗算し、バイアス ベクトルを加算します。

作成

構文

layer = fullyConnectedLayer(outputSize)

layer = fullyConnectedLayer(outputSize,Name,Value)

説明

layer = fullyConnectedLayer(outputSize) は全結合層を返し、OutputSize プロパティを指定します。

layer = fullyConnectedLayer(outputSize,Name,Value) は、名前と値のペアを使用して、オプションの パラメーターと初期化、学習率および正則化、および Name の各プロパティを設定します。たとえば、fullyConnectedLayer(10,'Name','fc1') は、出力サイズが 10、名前が 'fc1' である全結合層を作成します。複数の名前と値のペアを指定できます。各プロパティ名を一重引用符で囲みます。

プロパティ

全結合

OutputSize — 出力サイズ

正の整数

全結合層の出力サイズ。正の整数として指定します。

例: 10

InputSize — 入力サイズ

'auto' (既定値) | 正の整数

全結合層の入力サイズ。正の整数または 'auto' として指定します。InputSize が 'auto' の場合、学習中に入力サイズが自動的に決定されます。

パラメーターと初期化

WeightsInitializer — 重みを初期化する関数

'glorot' (既定値) | 'he' | 'orthogonal' | 'narrow-normal' | 'zeros' | 'ones' | 関数ハンドル

重みを初期化する関数。次のいずれかに指定します。

• 'glorot' – Glorot 初期化子 [1] (Xavier 初期化子とも呼ばれる) を使用して重みを初期化します。Glorot 初期化子は、平均 0、分散 2/(InputSize + OutputSize) の一様分布から個別にサンプリングを行います。

• 'he' – He 初期化子 [2] を使用して重みを初期化します。He 初期化子は、平均 0、分散 2/InputSize の正規分布からサンプリングを行います。

• 'orthogonal' – 直交行列 Q を使用して入力の重みを初期化します。この直交行列は、単位正規分布からサンプリングされた乱数行列 Z に対する Z = QR の QR 分解によって与えられます。[3]

• 'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、重みを初期化します。

• 'zeros' – 0 で重みを初期化します。

• 'ones' – 1 で重みを初期化します。

• 関数ハンドル – カスタム関数で重みを初期化します。関数ハンドルを指定する場合、関数は weights = func(sz) という形式でなければなりません。ここで、sz は重みのサイズです。たとえば、Specify Custom Weight Initialization Functionを参照してください。

この層では、Weights プロパティが空の場合にのみ重みが初期化されます。

データ型: char | string | function_handle

BiasInitializer — バイアスを初期化する関数

'zeros' (既定値) | 'narrow-normal' | 'ones' | 関数ハンドル

バイアスを初期化する関数。次のいずれかに指定します。

• 'zeros' – 0 でバイアスを初期化します。

• 'ones' – 1 でバイアスを初期化します。

• 'narrow-normal' – 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、バイアスを初期化します。

• 関数ハンドル – カスタム関数でバイアスを初期化します。関数ハンドルを指定する場合、関数は bias = func(sz) という形式でなければなりません。ここで、sz はバイアスのサイズです。

この層では、Bias プロパティが空の場合にのみバイアスが初期化されます。

データ型: char | string | function_handle

Weights — 層の重み

[] (既定値) | 行列

層の重み。行列として指定します。

層の重みは学習可能なパラメーターです。層の Weights プロパティを使用して、重みに直接、初期値を指定できます。ネットワークの学習時に、層の Weights プロパティが空ではない場合、trainNetwork は Weights プロパティを初期値として使用します。Weights プロパティが空の場合、trainNetwork は層の WeightsInitializer プロパティによって指定された初期化子を使用します。

学習時、Weights は OutputSize 行 InputSize 列の行列です。

データ型: single | double

Bias — 層のバイアス

[] (既定値) | 行列

層のバイアス。行列として指定します。

層のバイアスは学習可能なパラメーターです。ネットワークの学習時に、Bias が空ではない場合、trainNetwork は Bias プロパティを初期値として使用します。Bias が空の場合、trainNetwork は BiasInitializer によって指定された初期化子を使用します。

学習時、Bias は OutputSize 行 1 列の行列です。

データ型: single | double

学習率および正則化

WeightLearnRateFactor — 重みの学習率係数

1 (既定値) | 非負のスカラー

重みの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層の重みの学習率が決定されます。たとえば、WeightLearnRateFactor が 2 の場合、この層の重みの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

例: 2

BiasLearnRateFactor — バイアスの学習率係数

1 (既定値) | 非負のスカラー

バイアスの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層のバイアスの学習率が決定されます。たとえば、BiasLearnRateFactor が 2 の場合、層のバイアスの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定された設定に基づいて、グローバル学習率が決定されます。

例: 2

WeightL2Factor — 重みの L2 正則化係数

1 (既定値) | 非負のスカラー

重みの L2 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L2 正則化係数が乗算されて、この層の重みの L2 正則化が決定されます。たとえば、WeightL2Factor が 2 の場合、この層の重みの L2 正則化はグローバル L2 正則化係数の 2 倍になります。グローバル L2 正則化係数は、関数 trainingOptions を使用して指定できます。

例: 2

BiasL2Factor — バイアスの L2 正則化係数

0 (既定値) | 非負のスカラー

バイアスの L2 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L2 正則化係数が乗算されて、この層のバイアスの L2 正則化が決定されます。たとえば、BiasL2Factor が 2 の場合、この層のバイアスの L2 正則化はグローバル L2 正則化係数の 2 倍になります。グローバル L2 正則化係数は、関数 trainingOptions を使用して指定できます。

例: 2

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。層グラフに層を含めるには、空ではない一意の層の名前を指定しなければなりません。この層が含まれる系列ネットワークに学習させて Name を '' に設定すると、学習時に層に名前が自動的に割り当てられます。

データ型: char | string

NumInputs — 入力の数

1 (既定値)

層の入力の数。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

{'in'} (既定値)

層の入力名。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

1 (既定値)

層の出力の数。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

{'out'} (既定値)

層の出力名。この層には単一の出力のみがあります。

データ型: cell

例

全結合層の作成

出力サイズが 10、名前が 'fc1' の全結合層を作成します。

layer = fullyConnectedLayer(10,'Name','fc1')

layer = 
  FullyConnectedLayer with properties:

          Name: 'fc1'

   Hyperparameters
     InputSize: 'auto'
    OutputSize: 10

   Learnable Parameters
       Weights: []
          Bias: []

  Show all properties

Layer 配列に全結合層を含めます。

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex

全結合層の初期の重みとバイアスの指定

重みとバイアスの初期化子関数を指定するには、それぞれ WeightsInitializer プロパティと BiasInitializer プロパティを使用します。重みとバイアスを直接指定するには、それぞれ Weights プロパティと Bias プロパティを使用します。

初期化関数の指定

出力サイズが 10 の全結合層を作成し、重み初期化子を He 初期化子に指定します。

outputSize = 10;
layer = fullyConnectedLayer(outputSize,'WeightsInitializer','he')

layer = 
  FullyConnectedLayer with properties:

          Name: ''

   Hyperparameters
     InputSize: 'auto'
    OutputSize: 10

   Learnable Parameters
       Weights: []
          Bias: []

  Show all properties

Weights プロパティおよび Bias プロパティは空になることに注意してください。学習時に、これらのプロパティは指定した初期化関数を使用して初期化されます。

カスタム初期化関数の指定

重みとバイアスの独自の初期化関数を指定するには、関数ハンドルに WeightsInitializer プロパティおよび BiasInitializer プロパティを設定します。これらのプロパティに、重みとバイアスのサイズを入力として取り、初期化値を出力する関数ハンドルを指定します。

出力サイズが 10 の全結合層を作成し、標準偏差 0.0001 のガウス分布から重みとバイアスをサンプリングする初期化子を指定します。

outputSize = 10;
weightsInitializationFcn = @(sz) rand(sz) * 0.0001;
biasInitializationFcn = @(sz) rand(sz) * 0.0001;

layer = fullyConnectedLayer(outputSize, ...
    'WeightsInitializer',@(sz) rand(sz) * 0.0001, ...
    'BiasInitializer',@(sz) rand(sz) * 0.0001)

layer = 
  FullyConnectedLayer with properties:

          Name: ''

   Hyperparameters
     InputSize: 'auto'
    OutputSize: 10

   Learnable Parameters
       Weights: []
          Bias: []

  Show all properties

ここでも、Weights プロパティおよび Bias プロパティは空になります。学習時に、これらのプロパティは指定した初期化関数を使用して初期化されます。

重みおよびバイアスの直接指定

出力サイズが 10 の全結合層を作成し、MAT ファイル FCWeights.mat で重みとバイアスをそれぞれ W と b に設定します。

outputSize = 10;
load FCWeights

layer = fullyConnectedLayer(outputSize, ...
    'Weights',W, ...
    'Bias',b)

layer = 
  FullyConnectedLayer with properties:

          Name: ''

   Hyperparameters
     InputSize: 720
    OutputSize: 10

   Learnable Parameters
       Weights: [10x720 double]
          Bias: [10x1 double]

  Show all properties

ここで、Weights プロパティおよび Bias プロパティには指定した値が含まれます。学習時に、これらのプロパティが空ではない場合、指定した値が初期の重みとバイアスとして使用されます。この場合、初期化子関数は使用されません。

詳細

全結合層

全結合層は、入力に重み行列を乗算し、バイアス ベクトルを加算します。

畳み込み層 (およびダウンサンプリング層) の後には、1 つ以上の全結合層が配置されます。

その名前からわかるように、全結合層のすべてのニューロンは前の層にあるすべてのニューロンに結合しています。この層は、前の層によってイメージ全体で学習されたすべての特徴 (ローカル情報) を組み合わせて、より大きなパターンを特定します。分類問題の場合、最後の全結合層は、特徴を組み合わせてイメージを分類します。そのため、ネットワークにある最後の全結合層の引数 outputSize は、データセットのクラスの数と等しくなります。回帰問題の場合、出力サイズは応答変数の数と等しくなければなりません。

全結合層を作成するときに、関連する名前と値のペアの引数を使用して、この層の学習率と正則化パラメーターも調整できます。調整しないことを選択した場合、trainNetwork は関数 trainingOptions で定義されたグローバル学習パラメーターを使用します。グローバル学習オプションと層の学習オプションの詳細は、パラメーターの設定と畳み込みニューラル ネットワークの学習を参照してください。

全結合層は、入力に重み行列 W を乗算し、バイアス ベクトル b を加算します。

層への入力がシーケンスの場合 (LSTM ネットワークの場合など)、全結合層は各タイム ステップで独立に動作します。たとえば、全結合層の前の層が、サイズ D x N x S の配列 X を出力する場合、全結合層はサイズ outputSize x N x S の配列 Z を出力します。タイム ステップ t で、Z の対応するエントリは $$W{X}_t+b$$ です。ここで、$$X_t$$ は、タイム ステップ t の X を表します。

互換性の考慮事項

既定の重みの初期化は Glorot

R2019a での動作変更

R2019a 以降では、既定で、Glorot 初期化子を使用してこの層の重みが初期化されます。この動作は、学習を安定化させるのに役立ち、通常は深いネットワークの学習時間を短縮します。

以前のリリースでは、既定で、平均 0、分散 0.01 の正規分布からサンプリングを行って、層の重みが初期化されます。この動作を再現するには、層の 'WeightsInitializer' オプションを 'narrow-normal' に設定します。

参照

[1] Glorot, Xavier, and Yoshua Bengio. "Understanding the difficulty of training deep feedforward neural networks." In Proceedings of the thirteenth international conference on artificial intelligence and statistics, pp. 249-256. 2010.

[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification." In Proceedings of the IEEE international conference on computer vision, pp. 1026-1034. 2015.

[3] Saxe, Andrew M., James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks." arXiv preprint arXiv:1312.6120 (2013).

参考

batchNormalizationLayer | convolution2dLayer | reluLayer | trainNetwork

トピック

• 分類用のシンプルな深層学習ネットワークの作成
• 回帰用の畳み込みニューラル ネットワークの学習
• MATLAB による深層学習
• 畳み込みニューラル ネットワークの層の指定
• Compare Layer Weight Initializers
• 深層学習層の一覧

R2016a で導入

×

Open Example (ja_JP)

A modified version of this example exists on your system. Do you want to open this version instead? (ja_JP)

No, overwrite the modified version (ja_JP) Yes (ja_JP)