embeddingConcatenationLayer

埋め込み連結層

R2023b 以降

説明

埋め込み連結層は、層の入力と埋め込みベクトルを連結によって結合します。

作成

構文

layer = embeddingConcatenationLayer

layer = embeddingConcatenationLayer(Name=Value)

説明

layer = embeddingConcatenationLayer は埋め込み連結層を作成します。

layer = embeddingConcatenationLayer(Name=Value) は、埋め込み連結層を作成し、1 つ以上の名前と値の引数を使用して、パラメーターと初期化プロパティと Name プロパティを設定します。

プロパティ

パラメーターと初期化

WeightsInitializer — 重みを初期化する関数

"narrow-normal" (既定値) | "glorot" | "he" | "zeros" | "ones" | 関数ハンドル

重みを初期化する関数。次のいずれかの値として指定します。

• "narrow-normal" — 平均 0、標準偏差 0.01 の正規分布から個別にサンプリングを行って、重みを初期化します。

• "glorot" — Glorot 初期化子[1] (Xavier 初期化子とも呼ばれる) を使用して重みを初期化します。Glorot 初期化子は、平均 0、分散 2/(numIn + numOut) の一様分布から個別にサンプリングを行います。ここで、numIn と numOut は、それぞれ層入力のチャネル数です。

• "he" — He 初期化子[2]を使用して重みを初期化します。He 初期化子は、平均 0、分散 2/numIn の正規分布からサンプリングを行います。ここで、numIn は層入力のチャネル数です。

• "zeros" — 0 で重みを初期化します。

• "ones" — 1 で重みを初期化します。

• 関数ハンドル – カスタム関数で重みを初期化します。関数ハンドルを指定する場合、関数は weights = func(sz) という形式でなければなりません。ここで、sz は重みのサイズです。

この層では、Weights プロパティが空の場合にのみ重みが初期化されます。

Weights — 学習可能なパラメーターの重み

[] (既定値) | 列ベクトル

学習可能なパラメーターの重み。長さ numChannels または [] の数値列ベクトルとして指定します。

層の重みは学習可能なパラメーターです。層の Weights プロパティを使用して、重みの初期値を直接指定できます。ネットワークに学習させるときに、層の Weights プロパティが空でない場合、trainnet 関数は Weights プロパティを初期値として使用します。Weights プロパティが空の場合、ソフトウェアは層の WeightsInitializer プロパティによって指定された初期化子を使用します。

データ型: single | double

層

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

EmbeddingConcatenationLayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

NumInputs — 入力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層への入力の数。1 として格納されます。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

読み取り専用: {'in'} (既定値)

この プロパティ は読み取り専用です。

入力名。{'in'} として格納されます。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層からの出力の数。1 として格納されます。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

読み取り専用: {'out'} (既定値)

この プロパティ は読み取り専用です。

出力名。{'out'} として格納されます。この層には単一の出力のみがあります。

データ型: cell

例

埋め込み連結層の作成

埋め込み連結層を作成します。

layer = embeddingConcatenationLayer

layer = 
  EmbeddingConcatenationLayer with properties:

                     Name: ''
                InputSize: 'auto'
       WeightsInitializer: 'narrow-normal'
    WeightLearnRateFactor: 1
           WeightL2Factor: 1

   Learnable Parameters
                  Weights: []

   State Parameters
    No properties.

  Show all properties

ニューラル ネットワークに埋め込み連結層を含めます。

net = dlnetwork;

numChannels = 1;

embeddingOutputSize = 64;
numWords = 128;

maxSequenceLength = 100;
maxPosition = maxSequenceLength+1;

numHeads = 4;
numKeyChannels = 4*embeddingOutputSize;

layers = [ 
    sequenceInputLayer(numChannels)
    wordEmbeddingLayer(embeddingOutputSize,numWords,Name="word-emb")
    embeddingConcatenationLayer(Name="emb-cat")
    positionEmbeddingLayer(embeddingOutputSize,maxPosition,Name="pos-emb");
    additionLayer(2,Name="add")
    selfAttentionLayer(numHeads,numKeyChannels,AttentionMask="causal")
    fullyConnectedLayer(numWords)
    softmaxLayer];
net = addLayers(net,layers);

net = connectLayers(net,"emb-cat","add/in2");

ニューラル ネットワーク アーキテクチャを表示します。

plot(net)
axis off
box off

アルゴリズム

埋め込み連結層

埋め込み連結層は、層の入力と埋め込みベクトルを連結によって結合します。

この層の出力は入力と同じ次元数をもちます。出力において、チャネル次元の最初の位置にある各ベクトルは、学習可能なパラメーターの埋め込み重みベクトル Weights です。

以下に例を示します。

• numChannels×numObservations×numTimeSteps の配列で表されるシーケンス データ X の場合 (numChannels、numObservations、numTimeSteps は、それぞれ入力のチャネル数、観測値数、タイム ステップ数)、出力は OutputSize×numObservations×by-(numTimeSteps+1) の配列 Y となります。ここで、Y(:,:,1) は Weights、Y(:,:,2:end) は X となります。

• height×numChannels×numObservations の配列で表される 1 次元イメージ データ X の場合 (height、numChannels、numObservations は、それぞれ入力イメージの高さ、チャネル数、観測値数)、出力は (height+1)×OutputSize×numObservations の配列 Y となります。ここで、Y(1,:,:) は Weights、Y(2:end,:,:) は X となります。

層の入力形式と出力形式

層配列内または層グラフ内の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発などの自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、EmbeddingConcatenationLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。ソフトウェアが nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable プロパティが 0 (false) に設定された FunctionLayer オブジェクトに層の出力を渡す場合、その層は形式を整えていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。ここには一部の形式のみを示します。層では、追加の "S" (空間) 次元または "U" (未指定) 次元をもつ形式など、追加の形式がサポートされている場合があります。

入力形式	出力形式
"SCB" (spatial、channel、batch)	"SCB" (spatial、channel、batch)
"CBT" (channel、batch、time)	"CBT" (channel、batch、time)
"SC" (spatial、channel)	"SC" (spatial、channel)

dlnetwork オブジェクトでは、EmbeddingConcatenationLayer オブジェクトもこれらの入力形式と出力形式の組み合わせをサポートします。

入力形式	出力形式
"CT" (channel、time)	"CT" (channel、time)

参照

[1] Glorot, Xavier, and Yoshua Bengio. "Understanding the Difficulty of Training Deep Feedforward Neural Networks." In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, 249–356. Sardinia, Italy: AISTATS, 2010. https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

[2] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In 2015 IEEE International Conference on Computer Vision (ICCV), 1026–34. Santiago, Chile: IEEE, 2015. https://doi.org/10.1109/ICCV.2015.123

拡張機能

C/C++ コード生成

MATLAB® Coder™ を使用して C および C++ コードを生成します。

使用上の注意および制限:

サードパーティのライブラリに依存しない汎用 C/C++ コードを生成し、生成されたコードをハードウェア プラットフォームに展開できます。

GPU コード生成

GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

使用上の注意および制限:

深層学習ライブラリに依存しない CUDA コードを生成し、生成されたコードを NVIDIA^® GPU プロセッサを使用するプラットフォームに展開できます。

バージョン履歴

R2023b で導入

参考

selfAttentionLayer | attentionLayer | positionEmbeddingLayer | indexing1dLayer | trainnet | trainingOptions | dlnetwork

トピック

• MATLAB による深層学習
• 深層学習層の一覧
• 長短期記憶ニューラル ネットワーク
• 深層学習を使用した時系列予測
• 深層学習のヒントとコツ
• 深層学習用のデータセット