softmaxLayer

ソフトマックス層

説明

ソフトマックス層は、入力にソフトマックス関数を適用します。

作成

構文

layer = softmaxLayer

layer = softmaxLayer(Name=name)

説明

layer = softmaxLayer はソフトマックス層を作成します。

layer = softmaxLayer(Name=name) は、ソフトマックス層を作成し、名前と値のペアを使用して、オプションの Name プロパティを設定します。たとえば、softmaxLayer(Name="sm1") は、"sm1" という名前のソフトマックス層を作成します。

プロパティ

Name — 層の名前

'' (既定値) | 文字ベクトル | string スカラー

層の名前。文字ベクトルまたは string スカラーとして指定します。Layer 配列入力の場合、trainnet 関数および dlnetwork 関数は、名前のない層に自動的に名前を割り当てます。

SoftmaxLayer オブジェクトは、このプロパティを文字ベクトルとして格納します。

データ型: char | string

NumInputs — 入力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層への入力の数。1 として格納されます。この層は単一の入力のみを受け入れます。

データ型: double

InputNames — 入力名

読み取り専用: {'in'} (既定値)

この プロパティ は読み取り専用です。

入力名。{'in'} として格納されます。この層は単一の入力のみを受け入れます。

データ型: cell

NumOutputs — 出力の数

読み取り専用: 1 (既定値)

この プロパティ は読み取り専用です。

層からの出力の数。1 として格納されます。この層には単一の出力のみがあります。

データ型: double

OutputNames — 出力名

読み取り専用: {'out'} (既定値)

この プロパティ は読み取り専用です。

出力名。{'out'} として格納されます。この層には単一の出力のみがあります。

データ型: cell

例

ソフトマックス層の作成

"sm1" という名前のソフトマックス層を作成します。

layer = softmaxLayer(Name="sm1")

layer = 
  SoftmaxLayer with properties:

    Name: 'sm1'

Layer 配列にソフトマックス層を含めます。

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

アルゴリズム

ソフトマックス層

ソフトマックス層は、入力にソフトマックス関数を適用します。

分類問題の場合、ソフトマックス層とその後の分類層は、通常、最後の全結合層の後に配置します。

出力ユニットの活性化関数は次のソフトマックス関数です。

$$y_r\left(x\right)=\frac{\exp \left(a_r\left(x\right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x\right)\right)}},$$

ここで、$$0\le y_r\le 1$$ および $${\displaystyle \sum _{j=1}^k{y}_j=1}$$ です。

ソフトマックス関数は、マルチクラス分類問題の場合、最後の全結合層の後の出力ユニットの活性化関数です。

$$P\left(c_r|x,\theta \right)=\frac{P\left(x,\theta |c_r\right)P\left(c_r\right)}{{\displaystyle \sum _{j=1}^{k}P\left(x,\theta |c_j\right)P\left(c_j\right)}}=\frac{\exp \left(a_r\left(x,\theta \right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x,\theta \right)\right)}},$$

ここで、$$0\le P\left(c_r|x,\theta \right)\le 1$$ および $${\displaystyle \sum _{j=1}^{k}P\left(c_j|x,\theta \right)=1}$$ です。また、$$a_r=\ln \left(P\left(x,\theta |c_r\right)P\left(c_r\right)\right)$$ です。$$P\left(x,\theta |c_r\right)$$ はクラス r である場合のサンプルの条件付き確率で、$$P\left(c_r\right)$$ はクラスの事前確率です。

ソフトマックス関数は、"正規化指数関数" とも呼ばれ、ロジスティック シグモイド関数のマルチクラスへの汎化と見なすことができます [1]。

層の入力形式と出力形式

層配列内または層グラフ内の層は、形式を整えた dlarray オブジェクトとして後続の層にデータを渡します。dlarray オブジェクトの形式は文字列で、各文字はデータ内の対応する次元を表します。この形式には次の文字が 1 つ以上含まれています。

• "S" — 空間

• "C" — チャネル

• "B" — バッチ

• "T" — 時間

• "U" — 指定なし

たとえば、4 次元配列として表された 2 次元イメージ データがあり、最初の 2 つの次元がイメージの空間次元に対応し、3 番目の次元がイメージのチャネルに対応し、4 番目の次元がバッチ次元に対応している場合、このイメージ データは "SSCB" (空間、空間、チャネル、バッチ) という形式で記述できます。

functionLayer オブジェクトを使用するか、関数 forward と関数 predict を dlnetwork オブジェクトと共に使用して、カスタム層の開発などの自動微分ワークフローで、これらの dlarray オブジェクトを操作できます。

次の表は、SoftmaxLayer オブジェクトでサポートされている入力形式、および対応する出力形式を示しています。ソフトウェアが nnet.layer.Formattable クラスを継承していないカスタム層、または Formattable プロパティが 0 (false) に設定された FunctionLayer オブジェクトに層の出力を渡す場合、その層は形式を整えていない dlarray オブジェクトを受け取り、この表に示された形式に従って次元が並べられます。ここには一部の形式のみを示します。層では、追加の "S" (空間) 次元または "U" (未指定) 次元をもつ形式など、追加の形式がサポートされている場合があります。

入力形式	出力形式
"CB" (channel、batch)	"CB" (channel、batch)
"SCB" (spatial、channel、batch)	"SCB" (spatial、channel、batch)
"SSCB" (spatial、spatial、channel、batch)	"SSCB" (spatial、spatial、channel、batch)
"SSSCB" (spatial、spatial、spatial、channel、batch)	"SSSCB" (spatial、spatial、spatial、channel、batch)
"CBT" (channel、batch、time)	"CBT" (channel、batch、time)
"SCBT" (spatial、channel、batch、time)	"SCBT" (spatial、channel、batch、time)
"SSCBT" (spatial、spatial、channel、batch、time)	"SSCBT" (spatial、spatial、channel、batch、time)
"SSSCBT" (spatial、spatial、spatial、channel、batch、time)	"SSSCBT" (spatial、spatial、spatial、channel、batch、time)
"CU" (channel、unspecified)	"CU" (channel、unspecified)
"SC" (spatial、channel)	"SC" (spatial、channel)
"SSC" (spatial、spatial、channel)	"SSC" (spatial、spatial、channel)
"SSSC" (spatial、spatial、spatial、channel)	"SSSC" (spatial、spatial、spatial、channel)

dlnetwork オブジェクトでは、SoftmaxLayer オブジェクトもこれらの入力形式と出力形式の組み合わせをサポートします。

入力形式	出力形式
"CT" (channel、time)	"CT" (channel、time)
"SCT" (spatial、channel、time)	"SCT" (spatial、channel、time)
"SSCT" (spatial、spatial、channel、time)	"SSCT" (spatial、spatial、channel、time)
"SSSCT" (spatial、spatial、spatial、channel、time)	"SSSCT" (spatial、spatial、spatial、channel、time)

参照

[1] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, New York, NY, 2006.

拡張機能

C/C++ コード生成
MATLAB® Coder™ を使用して C および C++ コードを生成します。

GPU コード生成
GPU Coder™ を使用して NVIDIA® GPU のための CUDA® コードを生成します。

バージョン履歴

R2016a で導入

参考

trainnet | trainingOptions | dlnetwork | convolution2dLayer | fullyConnectedLayer | exportNetworkToSimulink | Softmax Layer

トピック

• 分類用のシンプルな深層学習ニューラル ネットワークの作成
• 回帰用の畳み込みニューラル ネットワークの学習
• MATLAB による深層学習
• 深層学習層の一覧