gelu
説明
ガウス誤差線形単位 (GELU) 活性化演算は、ガウス確率分布に従って入力を重み付けします。
この演算は次で与えられます。
ここで、erf は誤差関数を表します。
例
入力引数
出力引数
アルゴリズム
参照
[1] Hendrycks, Dan, and Kevin Gimpel. "Gaussian error linear units (GELUs)." Preprint, submitted June 27, 2016. https://arxiv.org/abs/1606.08415
拡張機能
バージョン履歴
R2022b で導入