selfAttentionLayer

自己注意層

R2023a 以降

説明

自己注意層は、入力のシングルヘッドまたはマルチヘッドの自己注意を計算します。

この層は以下を行います。

1. 入力からクエリ、キー、および値を計算する

2. クエリ、キー、および値を使用して、ヘッド全体でスケールされたドット積アテンションを計算する

3. ヘッドからの結果をマージする

4. マージされた結果に対して線形変換を実行する

作成

構文

layer = selfAttentionLayer(numHeads,numKeyChannels)

layer = selfAttentionLayer(numHeads,numKeyChannels,Name=Value)

説明

layer = selfAttentionLayer(numHeads,numKeyChannels) は、自己注意層を作成し、NumHeads プロパティおよび NumKeyChannels プロパティを設定します。

layer = selfAttentionLayer(numHeads,numKeyChannels,Name=Value) は、オプションの NumValueChannels、OutputSize、HasPaddingMaskInput、AttentionMask、DropoutProbability、HasScoresOutput、パラメーターと初期化、学習率および正則化、および Name のプロパティを設定します。

プロパティ

自己注意

NumHeads — アテンション ヘッド数

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

アテンション ヘッド数。NumKeyChannels を等分する正の整数として指定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

NumKeyChannels — キーとクエリのチャネル数

読み取り専用: 正の整数

この プロパティ は読み取り専用です。

キーとクエリのチャネル数。NumHeads で割り切れる正の整数として指定します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

NumValueChannels — 値のチャネル数

"auto" (既定値) | 正の整数

値のチャネル数。次のいずれかの値として指定します。

• "auto" — NumKeyChannels を使用します。

• 正の整数 — 指定された数のチャネルを使用します。この値は NumHeads で割り切れなければなりません。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

OutputSize — 層出力のチャネル数

"auto" (既定値) | 正の整数

層出力のチャネル数。次のいずれかの値として指定します。

• "auto" — 層入力のチャネル数を使用します。

• 正の整数 — 指定された数のチャネルを使用します。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

HasPaddingMaskInput — 層にマスク入力があるかどうかを示すフラグ

0 (false) (既定値) | 1 (true)

層にパディング マスクを表す入力があるかどうかを示すフラグ。0 (false) または 1 (true) として指定します。

HasPaddingMaskInput プロパティが 0 (false) の場合、層は、入力データに対応する "in" という名前の 1 つの入力をもちます。この場合、層はすべての要素をデータとして扱います。

HasPaddingMaskInput プロパティが 1 (true) の場合、層は、それぞれ入力データおよびマスクに対応する "in" および "mask" という名前の 2 つの入力をもちます。この場合、パディング マスクは 1 と 0 から成る配列になります。層は、入力の要素について、マスク内の対応する要素が 1 の場合は使用し、0 の場合は無視します。

パディング マスクの形式は入力の形式と一致していなければなりません。パディング マスクの "S" (空間)、"T" (時間)、および "B" (バッチ) の各次元のサイズは、入力内の対応する次元のサイズと一致していなければなりません。

パディング マスクには任意の数のチャネルを含めることができます。ソフトウェアは、最初のチャネルの値をパディング値の表示にのみ使用します。

AttentionMask — キーと値のペアの要素に注意を払うことを抑制するマスク

"none" (既定値) | "causal"

キーと値のペアの要素に注意を払うことを抑制するマスク。次のいずれかの値として指定します。

• "none" — 位置に基づいて要素に注意を払うことを抑制しません。HasPaddingMaskInput が 1 (true) だった場合、層はパディング要素のみに注意を払うことを抑制します。

• "causal" — 位置 M の要素が位置 N の要素に対して注意を払うことを抑制します (ここで、N は M より大きい)。このオプションは自己回帰モデルに使用します。

DropoutProbability — アテンション スコアのドロップアウト確率

0 (既定値) | 範囲 [0, 1) のスカラー

アテンション スコアをドロップアウトする確率。範囲 [0, 1) のスカラーとして指定します。

学習中、ソフトウェアは指定された確率を使用して、アテンション スコアの値をランダムにゼロに設定します。これらのドロップアウトにより、モデルが特定の依存関係に過度に依存することを防ぎ、より堅牢で一般化可能な表現を学習できるようになります。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

HasScoresOutput — 層にスコア出力があるかどうかを示すフラグ

0 (false) (既定値) | 1 (true)

層にスコア (アテンションの重みとも呼ばれる) を表す出力があるかどうかを示すフラグ。0 (false) または 1 (true) として指定します。

HasScoresOutput プロパティが 0 (false) の場合、層は、出力データに対応する "out" という名前の 1 つの出力をもちます。

HasScoresOutput プロパティが 1 (true) の場合、層は、それぞれ出力データおよびアテンション スコアに対応する "out" および "scores" という名前の 2 つの入力をもちます。

InputSize — 入力チャネル数

読み取り専用: "auto" (既定値) | 正の整数

この プロパティ は読み取り専用です。

入力チャネル数。次のいずれかの値として指定します。

• "auto" — ネットワークの初期化時に入力チャネルの数を自動的に決定します。

• 正の整数 — 指定された数の入力チャネルの層を構成します。InputSize と層入力データのチャネル数は一致しなければなりません。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

パラメーターと初期化

WeightsInitializer — 重みを初期化する関数

"glorot" (既定値) | "he" | "narrow-normal" | "zeros" | "ones" | 関数ハンドル

クエリ、キー、値、および出力の重みを初期化する関数。次のいずれかの値として指定します。

• "glorot" – Glorot 初期化子[2] (Xavier 初期化子とも呼ばれる) を使用して重みを初期化します。Glorot 初期化子は、平均 0、分散 2/(numIn + numOut) の一様分布から個別にサンプリングを行います。numIn と numOut の値は重み行列によって決まります。

  重み	numIn	numOut
  クエリ	InputSize	NumKeyChannels
  キー	InputSize	NumKeyChannels
  値	InputSize	NumValueChannels
  出力	NumValueChannels	OutputSize

• "he" – He 初期化子[3]を使用して重みを初期化します。He 初期化子は、平均 0、分散 2/numIn の正規分布からサンプリングを行います。numIn と numOut の値は重み行列によって決まります。

  重み	numIn	numOut
  クエリ	InputSize	NumKeyChannels
  キー	InputSize	NumKeyChannels
  値	InputSize	NumValueChannels
  出力	NumValueChannels	OutputSize

• "narrow-normal" — 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、重みを初期化します。

• "zeros" — 0 で重みを初期化します。

• "ones" — 1 で重みを初期化します。

• 関数ハンドル — カスタム関数で重みを初期化します。関数ハンドルを指定する場合、関数は weights = func(sz) という形式でなければなりません。ここで、sz は重みのサイズです。例については、カスタム重み初期化関数の指定を参照してください。

層は、対応する重みプロパティが空の場合にのみ重みを初期化します。

データ型: char | string | function_handle

BiasInitializer — バイアスを初期化する関数

"zeros" (既定値) | "narrow-normal" | "ones" | 関数ハンドル

クエリ、キー、値、および出力のバイアスを初期化する関数。次のいずれかの値として指定します。

• "zeros" — 0 でバイアスを初期化します。

• "ones" — 1 でバイアスを初期化します。

• "narrow-normal" — 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、バイアスを初期化します。

• 関数ハンドル — カスタム関数でバイアスを初期化します。関数ハンドルを指定する場合、関数は bias = func(sz) という形式でなければなりません。ここで、sz はバイアスのサイズです。

層は、対応するバイアス プロパティが空の場合にのみバイアスを初期化します。

データ型: char | string | function_handle

QueryWeights — クエリの重み

[] (既定値) | 行列

クエリの重み。NumKeyChannels 行 numInputChannels 列の行列または [] として指定します。ここで、numInputChannels は層入力内のチャネル数です。

データ型: single | double

KeyWeights — キーの重み

[] (既定値) | 行列

キーの重み。NumKeyChannels 行 numInputChannels 列の行列または [] として指定します。ここで、numInputChannels は層入力内のチャネル数です。

データ型: single | double

ValueWeights — 値の重み

[] (既定値) | 行列

値の重み。NumValueChannels 行 numInputChannels 列の行列または [] として指定します。ここで、numInputChannels は層入力内のチャネル数です。

データ型: single | double

OutputWeights — 出力の重み

[] (既定値) | 行列

出力の重み。OutputSize 行 NumValueChannels 列の行列または [] として指定します。

データ型: single | double

QueryBias — クエリのバイアス

[] (既定値) | ベクトル

クエリのバイアス。NumKeyChannels 行 1 列のベクトルまたは [] として指定します。

データ型: single | double

KeyBias — キーのバイアス

[] (既定値) | ベクトル

キーのバイアス。NumKeyChannels 行 1 列のベクトルまたは [] として指定します。

データ型: single | double

ValueBias — 値のバイアス

[] (既定値) | ベクトル

値のバイアス。NumValueChannels 行 1 列のベクトルまたは [] として指定します。

データ型: single | double

OutputBias — 出力のバイアス

[] (既定値) | ベクトル

出力のバイアス。OutputSize 行 1 列のベクトルまたは [] として指定します。

データ型: single | double

学習率および正則化

WeightLearnRateFactor — 重みの学習率係数

1 (既定値) | 非負のスカラー

クエリ、キー、値、および出力の重みの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層の重みの学習率が決定されます。たとえば、WeightLearnRateFactor が 2 の場合、この層の重みの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

BiasLearnRateFactor — バイアスの学習率係数

1 (既定値) | 非負のスカラー

クエリ、キー、値、および出力のバイアスの学習率係数。非負のスカラーとして指定します。

この係数にグローバル学習率が乗算されて、この層のバイアスの学習率が決定されます。たとえば、BiasLearnRateFactor が 2 の場合、層のバイアスの学習率は現在のグローバル学習率の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル学習率が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

WeightL2Factor — 重みの L₂ 正則化係数

1 (既定値) | 非負のスカラー

クエリ、キー、値、および出力の重みの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層の重みの L₂ 正則化が決定されます。たとえば、WeightL2Factor が 2 の場合、この層の重みの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。グローバル L₂ 正則化係数は、関数 trainingOptions を使用して指定できます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

BiasL2Factor — バイアスの L₂ 正則化係数

0 (既定値) | 非負のスカラー

クエリ、キー、値、および出力のバイアスの L₂ 正則化係数。非負のスカラーとして指定します。

この係数にグローバル L₂ 正則化係数が乗算されて、この層のバイアスの L₂ 正則化が決定されます。たとえば、BiasL2Factor が 2 の場合、この層のバイアスの L₂ 正則化はグローバル L₂ 正則化係数の 2 倍になります。関数 trainingOptions で指定した設定に基づいて、グローバル L₂ 正則化係数が決定されます。

データ型: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

SelfAttentionLayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

NumInputs — 入力の数

1 | 2

層への入力の数。1 または 2 として返されます。

HasPaddingMaskInput プロパティが 0 (false) の場合、層は、入力データに対応する "in" という名前の 1 つの入力をもちます。この場合、層はすべての要素をデータとして扱います。

HasPaddingMaskInput プロパティが 1 (true) の場合、層は、それぞれ入力データおよびマスクに対応する "in" および "mask" という名前の 2 つの入力をもちます。この場合、パディング マスクは 1 と 0 から成る配列になります。層は、入力の要素について、マスク内の対応する要素が 1 の場合は使用し、0 の場合は無視します。

パディング マスクの形式は入力の形式と一致していなければなりません。パディング マスクの "S" (空間)、"T" (時間)、および "B" (バッチ) の各次元のサイズは、入力内の対応する次元のサイズと一致していなければなりません。

パディング マスクには任意の数のチャネルを含めることができます。ソフトウェアは、最初のチャネルの値をパディング値の表示にのみ使用します。

データ型: double

InputNames — 入力名

"in" | ["in" "mask"]

層の入力名。文字ベクトルの cell 配列として返されます。

HasPaddingMaskInput プロパティが 0 (false) の場合、層は、入力データに対応する "in" という名前の 1 つの入力をもちます。この場合、層はすべての要素をデータとして扱います。

HasPaddingMaskInput プロパティが 1 (true) の場合、層は、それぞれ入力データおよびマスクに対応する "in" および "mask" という名前の 2 つの入力をもちます。この場合、パディング マスクは 1 と 0 から成る配列になります。層は、入力の要素について、マスク内の対応する要素が 1 の場合は使用し、0 の場合は無視します。

パディング マスクの形式は入力の形式と一致していなければなりません。パディング マスクの "S" (空間)、"T" (時間)、および "B" (バッチ) の各次元のサイズは、入力内の対応する次元のサイズと一致していなければなりません。

パディング マスクには任意の数のチャネルを含めることができます。ソフトウェアは、最初のチャネルの値をパディング値の表示にのみ使用します。

SelfAttentionLayer オブジェクトは、このプロパティを文字ベクトルの cell 配列として格納します。

NumOutputs — 出力の数

読み取り専用: 1 (既定値) | 2

この プロパティ は読み取り専用です。

層の出力の数。

HasScoresOutput プロパティが 0 (false) の場合、層は、出力データに対応する "out" という名前の 1 つの出力をもちます。

HasScoresOutput プロパティが 1 (true) の場合、層は、それぞれ出力データおよびアテンション スコアに対応する "out" および "scores" という名前の 2 つの入力をもちます。

データ型: double

OutputNames — 出力名

読み取り専用: "out" (既定値) | ["out" "scores"]

この プロパティ は読み取り専用です。

層の出力名。

HasScoresOutput プロパティが 0 (false) の場合、層は、出力データに対応する "out" という名前の 1 つの出力をもちます。

HasScoresOutput プロパティが 1 (true) の場合、層は、それぞれ出力データおよびアテンション スコアに対応する "out" および "scores" という名前の 2 つの入力をもちます。

SelfAttentionLayer オブジェクトは、このプロパティを文字ベクトルの cell 配列として格納します。

例

自己注意層の作成

ヘッド数 8、キーとクエリのチャネル数 256 の自己注意層を作成します。

layer = selfAttentionLayer(8,256)

layer = 
  SelfAttentionLayer with properties:

                   Name: ''
          AttentionMask: 'none'
    HasPaddingMaskInput: 0
        HasScoresOutput: 0

   Hyperparameters
              InputSize: 'auto'
               NumHeads: 8
         NumKeyChannels: 256
       NumValueChannels: 'auto'
             OutputSize: 'auto'
     DropoutProbability: 0

   Learnable Parameters
           QueryWeights: []
             KeyWeights: []
           ValueWeights: []
          OutputWeights: []
              QueryBias: []
                KeyBias: []
              ValueBias: []
             OutputBias: []

  Show all properties

層配列に自己注意層を含めます。

layers = [
    sequenceInputLayer(12)
    selfAttentionLayer(4,12)
    layerNormalizationLayer
    fullyConnectedLayer(9)
    softmaxLayer];

アルゴリズム

ドット積アテンション

attention 演算は、重み付き乗算を使用して入力の一部に焦点を当てます。

シングルヘッドのドット積 attention 演算は、次によって与えられます。

$$\text{attention}(Q,K,V)=\text{dropout}\left(\text{softmax}\left(\text{mask}\left(\lambda Q{K}^{\top },M\right)\right),p\right)V,$$

ここで、

• Q はクエリを表します。

• K はキーを表します。

• V は値を表します。

• $$\lambda$$ はスケーリング係数を示します。

• M は 1 と 0 から成るマスク配列です。

• p はドロップアウトの確率です。

マスク演算では、ゼロ値のマスク要素に対して入力の値を $$-\infty$$ に設定することにより、行列乗算の値を含める、または除外します。マスクは、パディング マスクとアテンション マスクの共用体です。ソフトマックス関数は、和が 1 となるように入力データの値をチャネル次元全体で正規化します。ドロップアウト演算は、確率 p で要素をゼロに設定します。

マルチヘッドの自己注意

入力 X に対するマルチヘッドの自己注意演算は、次で与えられます。

$$\text{multiheadSelfAttention}(X,h,W^Q,W^K,W^V,W^O)=\text{concatenate}({\text{head}}_1,\dots ,{\text{head}}_h)W^O,$$

ここで、

• h はヘッドの数です。

• W^Q はクエリの学習可能なパラメーターの射影行列です。

• W^K はキーの学習可能なパラメーターの射影行列です。

• W^V は値の学習可能なパラメーターの射影行列です。

• W^O は出力の学習可能なパラメーターの射影行列です。

各重み行列は、各ヘッドの連結された重み行列 W_i で構成されます。各々の $${\text{head}}_i$$ は、次で与えられるヘッド演算の出力を表します。

$${\text{head}}_i=\text{selfAttention}\left(X{W}_i^Q,X{W}_i^K,X{W}_i^V\right).$$

層の入力形式と出力形式

層配列内または層グラフ内の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発などの自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、SelfAttentionLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。ソフトウェアが nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable プロパティが 0 (false) に設定された FunctionLayer オブジェクトに層の出力を渡す場合、その層は形式を整えていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。ここには一部の形式のみを示します。層では、追加の "S" (空間) 次元または "U" (未指定) 次元をもつ形式など、追加の形式がサポートされている場合があります。

入力形式	出力形式
"CB" (channel、batch)	"CB" (channel、batch)
"SCB" (spatial、channel、batch)	"SCB" (spatial、channel、batch)
"CBT" (channel、batch、time)	"CBT" (channel、batch、time)
"SC" (spatial、channel)	"SC" (spatial、channel)
"CT" (channel、time)	"CT" (channel、time)
"SB" (spatial、batch)	"SCB" (spatial、channel、batch)
"BT" (batch、time)	"CBT" (channel、batch、time)

参照

[1] Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. "Attention is all you need." In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017. https://papers.nips.cc/paper/7181-attention-is-all-you-need.

[2] Glorot, Xavier, and Yoshua Bengio. "Understanding the Difficulty of Training Deep Feedforward Neural Networks." In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, 249–356. Sardinia, Italy: AISTATS, 2010. https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

[3] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In 2015 IEEE International Conference on Computer Vision (ICCV), 1026–34. Santiago, Chile: IEEE, 2015. https://doi.org/10.1109/ICCV.2015.123

拡張機能

C/C++ コード生成

MATLAB® Coder™ を使用して C および C++ コードを生成します。

使用上の注意および制限:

• HasScoresOutput が true に設定されている場合、コード生成はサポートされません。

• コード生成では、指定なし (U) の次元をもつ dlarray オブジェクトをこの層に渡すことはサポートされていません。

• コード生成では、この層への入力として、チャネル (C) の次元をもつ dlarray オブジェクトを渡さなければなりません。たとえば、コード生成では "SSC" や "SSCBT" などのデータ形式がサポートされます。

GPU コード生成

GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

使用上の注意および制限については、「C/C++ コード生成」セクションを参照してください。GPU コード生成にも同じ制限が適用されます。

バージョン履歴

R2023a で導入

参考

trainingOptions | sequenceInputLayer | attentionLayer | positionEmbeddingLayer | sinusoidalPositionEncodingLayer | embeddingConcatenationLayer

トピック

• 長短期記憶ニューラル ネットワーク
• 深層学習を使用した時系列予測
• 深層学習層の一覧
• MATLAB による深層学習
• 深層学習のヒントとコツ
• 深層学習用のデータセット