reluLayer

正規化線形ユニット (ReLU) 層

説明

ReLU 層は、入力の各要素に対してしきい値処理を実行し、値がゼロよりも小さい場合はゼロに設定します。

この処理は次の式と同等です。

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

作成

構文

layer = reluLayer

layer = reluLayer('Name',Name)

説明

layer = reluLayer は ReLU 層を作成します。

layer = reluLayer('Name',Name) は、ReLU 層を作成し、名前と値のペアを使用して、オプションの Name プロパティを設定します。たとえば、reluLayer('Name','relu1') は、'relu1' という名前の ReLU 層を作成します。

プロパティ

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、関数 trainNetwork、assembleNetwork、layerGraph、および dlnetwork は、名前が '' の層に自動的に名前を割り当てます。

データ型: char | string

NumInputs — 入力の数

1 (既定値)

このプロパティは読み取り専用です。

層の入力の数。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

{'in'} (既定値)

このプロパティは読み取り専用です。

層の入力名。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

1 (既定値)

このプロパティは読み取り専用です。

層の出力の数。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

{'out'} (既定値)

このプロパティは読み取り専用です。

層の出力名。この層には単一の出力のみがあります。

データ型: cell

例

ReLU 層の作成

'relu1' という名前の ReLU 層を作成します。

layer = reluLayer('Name','relu1')

layer = 
  ReLULayer with properties:

    Name: 'relu1'

Layer 配列に ReLU 層を含めます。

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution         20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   2-D Max Pooling         2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex

詳細

ReLU 層

ReLU 層は、入力の各要素に対してしきい値処理を実行し、値がゼロよりも小さい場合はゼロに設定します。

通常、畳み込み層やバッチ正規化層の後には、ReLU 層によって指定される正規化線形ユニット (ReLU) などの非線形活性化関数が続きます。ReLU 層は、各要素に対してしきい値処理を実行し、次のように入力値がゼロよりも小さい場合はゼロに設定します。

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

ReLU 層は入力のサイズを変更しません。

他にも、異なる処理を実行し、用途によってはネットワークの精度が改善される非線形活性化層があります。活性化層の一覧については、活性化層を参照してください。

参照

[1] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814. 2010.

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

R2016a で導入

参考

trainNetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | ディープ ネットワーク デザイナー

トピック

• 分類用のシンプルな深層学習ネットワークの作成
• 回帰用の畳み込みニューラル ネットワークの学習
• MATLAB による深層学習
• 畳み込みニューラル ネットワークの層の指定
• 活性化層の比較
• 深層学習層の一覧

×

例を開く

この例の変更されたバージョンがあります。編集された方の例を開きますか?

いいえ、変更されたバージョンを上書きします。 はい