このページの内容は最新ではありません。最新版の英語を参照するには、ここをクリックします。

geluLayer

ガウス誤差線形単位 (GELU) 層

R2022b 以降

説明

ガウス誤差線形単位 (GELU) 層は、ガウス確率分布に従って入力を重み付けします。

この演算は次で与えられます。

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

ここで、erf は誤差関数を表します。

作成

構文

layer = geluLayer

layer = geluLayer(Name=Value)

説明

layer = geluLayer は GELU 層を返します。

layer = geluLayer(Name=Value) は、名前と値の引数を使用して、オプションの Approximation プロパティおよび Name プロパティを設定します。たとえば、geluLayer(Name="gelu") は、"gelu" という名前の GELU 層を作成します。

プロパティ

GELU

Approximation — GELU 演算の近似法

'none' (既定値) | 'tanh'

GELU 演算の近似法。次のいずれかの値として指定します。

• 'none' — 近似を使用しません。

• 'tanh' — 次を使用して基になる誤差関数を近似します。

  $$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

ヒント

MATLAB^® では、tanh 近似の計算は通常、精度が低くなります。また、入力サイズが大きい場合、近似を使用せずに GELU 活性化を計算するよりも遅くなります。tanh 近似は、BERT や GPT-2 など、この近似を使用するモデルを再現する場合に使用します。

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

GELULayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

NumInputs — 入力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層への入力の数。1 として格納されます。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

読み取り専用: {'in'} (既定値)

この プロパティ は読み取り専用です。

入力名。{'in'} として格納されます。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層からの出力の数。1 として格納されます。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

読み取り専用: {'out'} (既定値)

この プロパティ は読み取り専用です。

出力名。{'out'} として格納されます。この層には単一の出力のみがあります。

データ型: cell

例

GELU 層の作成

GELU 層を作成します。

layer = geluLayer

layer = 
  GELULayer with properties:

             Name: ''

   Hyperparameters
    Approximation: 'none'

Layer 配列に GELU 層を含めます。

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    geluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   GELU              GELU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

アルゴリズム

ガウス誤差線形単位活性化

ガウス誤差線形単位 (GELU) 活性化演算は、ガウス確率分布に従って入力を重み付けします。

この演算は次で与えられます。

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

ここで、erf は次で与えられる誤差関数を表します。

$$\text{erf}(x)=\frac{2}{\sqrt{\pi }}{\displaystyle {\int }_0^x{e}^{-t^2}dt}.$$

Approximation オプションが "tanh" の場合、ソフトウェアは次を使用して誤差関数を近似します。

$$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

層の入力形式と出力形式

層配列内または層グラフ内の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

GELULayer オブジェクトは要素単位の演算を適用し、あらゆる形式の入力データをサポートします。層は、次元を追加したり削除したりせず、入力データと同じ形式でデータを出力します。

参照

[1] Hendrycks, Dan, and Kevin Gimpel. "Gaussian error linear units (GELUs)." Preprint, submitted June 27, 2016. https://arxiv.org/abs/1606.08415

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

R2022b で導入

R2023b: コード生成のサポート

MATLAB Coder™ を使用して、C または C++ のコードを生成します。または、GPU Coder™ を使用して、NVIDIA^® GPU 用の CUDA^® コードを生成します。

参考

trainnet | trainingOptions | dlnetwork | fullyConnectedLayer | imageInputLayer | sequenceInputLayer

トピック

• 表形式データを使用したニューラル ネットワークの学習
• 分類用のシンプルな深層学習ニューラル ネットワークの作成
• 回帰用の畳み込みニューラル ネットワークの学習
• MATLAB による深層学習
• 深層学習層の一覧