このページの内容は最新ではありません。最新版の英語を参照するには、ここをクリックします。

leakyReluLayer

漏洩 (leaky) 正規化線形ユニット (ReLU) 層

説明

leaky ReLU 層は、しきい値処理を実行し、入力値がゼロよりも小さい場合は固定のスカラーによって乗算します。

この処理は次の式と同等です。

$$f(x)=\{\begin{array}{ll}x,\hfill & x\ge 0\hfill \\ scale*x,\hfill & x<0\hfill \end{array}.$$

作成

構文

layer = leakyReluLayer

layer = leakyReluLayer(scale)

layer = leakyReluLayer(___,'Name',Name)

説明

layer = leakyReluLayer は、leaky ReLU 層を返します。

layer = leakyReluLayer(scale) は、負の入力のスカラー乗数が scale に等しい、leaky ReLU 層を返します。

layer = leakyReluLayer(___,'Name',Name) は、leaky ReLU 層を返し、オプションの Name プロパティを設定します。

プロパティ

Leaky ReLU

Scale — 負の入力値のスカラー乗数

0.01 (既定値) | 数値スカラー

負の入力値のスカラー乗数。数値スカラーとして指定します。

例: 0.4

層

Name — 層の名前

"" (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、関数 trainnet、trainNetwork、assembleNetwork、layerGraph、および dlnetwork は、名前が "" の層に自動的に名前を割り当てます。

LeakyReLULayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

NumInputs — 入力の数

1 (既定値)

この プロパティ は読み取り専用です。

層への入力の数。1 として返されます。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

{'in'} (既定値)

この プロパティ は読み取り専用です。

入力名。{'in'} として返されます。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

1 (既定値)

この プロパティ は読み取り専用です。

層からの出力の数。1 として返されます。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

{'out'} (既定値)

この プロパティ は読み取り専用です。

出力名。{'out'} として返されます。この層には単一の出力のみがあります。

データ型: cell

例

Leaky ReLU 層の作成

名前が 'leaky1' で、負の入力のスカラー乗数が 0.1 に等しい、leaky ReLU 層を作成します。

layer = leakyReluLayer(0.1,'Name','leaky1')

layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Layer 配列に leaky ReLU 層を含めます。

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution         16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   2-D Max Pooling         2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   2-D Convolution         32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

アルゴリズム

層の入力形式と出力形式

層配列内または層グラフ内の層は、書式化された dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (spatial、spatial、channel、batch) という書式で表されます。

LeakyReLULayer オブジェクトは要素単位の演算を適用し、あらゆる形式の入力データをサポートします。層は、次元を追加したり削除したりせず、入力と同じ形式でデータを出力します。

参照

[1] Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng. "Rectifier nonlinearities improve neural network acoustic models." In Proc. ICML, vol. 30, no. 1. 2013.

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

R2017b で導入

参考

trainNetwork | reluLayer | clippedReluLayer | swishLayer

トピック

• 分類用のシンプルな深層学習ニューラル ネットワークの作成
• 回帰用の畳み込みニューラル ネットワークの学習
• MATLAB による深層学習
• 畳み込みニューラル ネットワークの層の指定
• 活性化層の比較
• 深層学習層の一覧