crossentropy

分類タスク用の交差エントロピー損失

R2019b 以降

ページ内をすべて折りたたむ

構文

loss = crossentropy(Y,targets)

loss = crossentropy(Y,targets,weights)

loss = crossentropy(___,'DataFormat',FMT)

loss = crossentropy(___,Name,Value)

説明

交差エントロピー演算は、単一ラベルおよび複数ラベルの分類タスクについて、ネットワーク予測とターゲット値の間の交差エントロピー損失を計算します。

関数 crossentropy は、dlarray データとして表された予測とターゲットとの間の交差エントロピー損失を計算します。dlarray オブジェクトを使用すると、次元にラベルを付けることができるため、高次元のデータをより簡単に扱うことができます。たとえば、"S"、"T"、"C"、"B" のラベルを使用して、各次元が空間、時間、チャネル、バッチのどの次元に対応するかを示すことができます。特に指定がないその他の次元については、ラベル "U" を使用します。特定の次元に対して演算を行うオブジェクト関数 dlarray の場合、dlarray オブジェクトを直接書式化するか、DataFormat オプションを使用することで、次元ラベルを指定できます。

メモ

関数 trainNetwork で使用するために、layerGraph オブジェクト内または Layer 配列内で交差エントロピー損失を計算するには、classificationLayer を使用します。

例

loss = crossentropy(Y,targets) は、単一ラベルの分類タスク用に、予測を含む書式化された dlarray オブジェクト Y とターゲット値 targets との間の categorical 交差エントロピー損失を返します。出力 loss は、書式化されていない dlarray スカラーです。

書式化されていない入力データの場合は、'DataFormat' オプションを使用します。

loss = crossentropy(Y,targets,weights) は、計算された損失値に重みを適用します。計算された損失値に対し、入力のクラス、観測値、領域、または個々の要素による寄与を重み付けするには、この構文を使用します。

Y が書式化されていない dlarray である場合、loss = crossentropy(___,'DataFormat',FMT) は、次元形式 FMT も指定します。

loss = crossentropy(___,Name,Value) は、前の構文の入力引数に加えて、1 つ以上の名前と値のペアの引数を使用してオプションを指定します。たとえば、'TargetCategories','independent' は、複数ラベルの分類タスク用の交差エントロピー損失を計算します。

例

すべて折りたたむ

単一ラベルの分類用の交差エントロピー損失

ライブスクリプトを開く

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;

Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');
dlY = softmax(dlY);

予測スコアのサイズと形式を表示します。

size(dlY)

ans = 1×2

    10    12

dims(dlY)

ans = 
'CB'

one-hot ベクトルとして符号化された、ターゲットの配列を作成します。

labels = randi(numClasses,[1 numObservations]);
targets = onehotencode(labels,1,'ClassNames',1:numClasses);

ターゲットのサイズを表示します。

size(targets)

ans = 1×2

    10    12

予測とターゲットとの間の交差エントロピー損失を計算します。

loss = crossentropy(dlY,targets)

loss = 
  1x1 dlarray

    2.3343

複数ラベルの分類用の交差エントロピー損失

ライブスクリプトを開く

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;
Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');

予測スコアのサイズと形式を表示します。

size(dlY)

ans = 1×2

    10    12

dims(dlY)

ans = 
'CB'

0 と 1 から成る数値配列として符号化された、ターゲットのランダム配列を作成します。各観測値は複数のクラスをもつことができます。

targets = rand(numClasses,numObservations) > 0.75;
targets = single(targets);

ターゲットのサイズを表示します。

size(targets)

ans = 1×2

    10    12

予測とターゲットとの間の交差エントロピー損失を計算します。複数ラベルの分類用の交差エントロピー損失を指定するには、'TargetCategories' オプションを 'independent' に設定します。

loss = crossentropy(dlY,targets,'TargetCategories','independent')

loss = 
  1x1 single dlarray

    9.8853

重み付き交差エントロピー損失

ライブスクリプトを開く

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;

Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');
dlY = softmax(dlY);

予測スコアのサイズと形式を表示します。

size(dlY)

ans = 1×2

    10    12

dims(dlY)

ans = 
'CB'

one-hot ベクトルとして符号化された、ターゲットの配列を作成します。

labels = randi(numClasses,[1 numObservations]);
targets = onehotencode(labels,1,'ClassNames',1:numClasses);

ターゲットのサイズを表示します。

size(targets)

ans = 1×2

    10    12

クラスの重みから成るベクトルを使用して、予測とターゲットとの間の重み付き交差エントロピー損失を計算します。'WeightsFormat' オプションを使用して、'UC' (指定なし、チャネル) という重み形式を指定します。

weights = rand(1,numClasses);
loss = crossentropy(dlY,targets,weights,'WeightsFormat','UC')

loss = 
  1x1 dlarray

    1.1261

入力引数

すべて折りたたむ

`Y` — 予測
`dlarray` | 数値配列

予測。書式化された dlarray、書式化されていない dlarray、または数値配列として指定します。Y が書式化された dlarray でない場合、DataFormat オプションを使用して次元形式を指定しなければなりません。

Y が数値配列の場合、targets は dlarray でなければなりません。

`targets` — ターゲット分類ラベル
`dlarray` | 数値配列

ターゲット分類ラベル。書式化された (または書式化されていない) dlarray、あるいは数値配列として指定します。

one-hot 符号化されたラベルを含み、サイズと形式が Y と同じ配列として、ターゲットを指定します。たとえば、Y が numObservations 行 numClasses 列の配列である場合、観測値 n がクラス i に属するのであれば targets(n,i) = 1、そうでなければ targets(n,i) = 0 です。

targets が書式化された dlarray の場合、その形式は Y の形式と同じでなければなりません。Y が書式化されていない場合、その形式は DataFormat の形式と同じでなければなりません。

targets が書式化されていない dlarray または数値配列の場合、関数は、Y の形式または DataFormat の値を targets に適用します。

ヒント

書式化された dlarray オブジェクトは、"S" (空間)、"C" (チャネル)、"B" (バッチ)、"T" (時間)、"U" (指定なし) の順序となるように、基となるデータの次元を自動的に並べ替えます。さらに、Y が書式化された dlarray の場合、Y と targets の次元が必ず一致するように、書式化された dlarray として targets を指定します。

`weights` — 重み
`dlarray` | 数値配列

重み。dlarray または数値配列として指定します。

クラスの重みを指定するには、サイズが X の 'C' (チャネル) 次元と同じである 'C' (チャネル) 次元をもつベクトルを指定します。書式化された dlarray オブジェクトを使用するか、'WeightsFormat' オプションを使用して、クラスの重みの 'C' (チャネル) 次元を指定します。

観測値の重みを指定するには、サイズが Y の 'B' (バッチ) 次元と同じである 'B' (バッチ) 次元をもつベクトルを指定します。書式化された dlarray オブジェクトを使用するか、'WeightsFormat' オプションを使用して、クラスの重みの 'B' (バッチ) 次元を指定します。

入力の各要素の重みを個別に指定するには、Y と同じサイズの配列として重みを指定します。この場合、weights が書式化されていない dlarray オブジェクトであれば、この関数は Y と同じ書式を使用します。または、'WeightsFormat' オプションを使用して重みの書式を指定します。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、コンマを使用して名前と値の各ペアを区切り、Name を引用符で囲みます。

例: 'TargetCategories','independent','DataFormat','CB' は、複数ラベルの分類タスク用の交差エントロピー損失を評価し、入力データの次元の順序を 'CB' として指定します。

`TargetCategories` — 分類タスクのタイプ
`'exclusive'` (既定値) | `'independent'`

分類タスクのタイプ。'TargetCategories' と次のいずれかで構成されるコンマ区切りのペアとして指定します。

'exclusive' — 単一ラベルの分類。予測 Y に含まれる各観測値は、1 つのカテゴリに排他的に割り当てられます。この関数は、targets によって指定された単一カテゴリのターゲット値と Y に含まれる対応する予測との間の損失を計算し、観測値の数で平均化します。
'independent' — 複数ラベルの分類。予測 Y に含まれる各観測値を、1 つ以上の独立したカテゴリに割り当てることができます。この関数は、targets によって指定された各カテゴリと Y に含まれるそれらのカテゴリに関する予測との間の損失の合計を計算し、観測値の数で平均化します。このタイプの分類タスクに関する交差エントロピー損失は、バイナリ交差エントロピー損失とも呼ばれます。

`Mask` — どの要素を損失の計算に含めるかを示すマスク
`dlarray` | logical 配列 | 数値配列

どの要素を損失の計算に含めるかを示すマスク。dlarray オブジェクト、logical 配列、または Y と同じサイズの数値配列として指定します。

この関数は、入力データの要素を損失の計算に含めるかどうかを、マスク内の対応する値が 1 であるか 0 であるかによって決定します。

Mask が書式化された dlarray オブジェクトである場合、その書式は Y の書式と一致しなければなりません。Mask が書式化されていない dlarray オブジェクトである場合、この関数は Y と同じ書式を使用します。

DataFormat オプションを指定した場合、この関数は指定された書式もマスクに使用します。

Mask の各次元のサイズは、Y の対応する次元のサイズと一致していなければなりません。既定値は 1 から成る logical 配列です。

ヒント

書式化された dlarray オブジェクトは、"S" (空間)、"C" (チャネル)、"B" (バッチ)、"T" (時間)、"U" (指定なし) の順序となるように、基となるデータの次元を自動的に並べ替えます。たとえば、dlarray オブジェクトは、書式が "TSCSBS" であるデータの次元を "SSSCBT" という書式になるように自動的に並べ替えます。

また、Y が書式化された dlarray である場合、Y とマスクの次元が必ず一致するように、書式化された dlarray としてマスクを指定します。

`Reduction` — 損失値の配列を縮小するモード
`"sum"` (既定値) | `"none"`

損失値の配列を縮小するモード。次のいずれかとして指定します。

"sum" — 損失値の配列に含まれるすべての要素を加算する。この場合、出力 loss はスカラーです。
"none" — 損失値の配列を縮小しない。この場合、出力 loss は、Y と同じサイズの書式化されていない dlarray オブジェクトです。

`NormalizationFactor` — 縮小された損失を正規化するための序数
`"batch-size"` (既定値) | `"all-elements"` | `"mask-included"` | `"none"`

Reduction が "sum" であるときに、縮小された損失を正規化するための除数。次のいずれかとして指定します。

"batch-size" — X に含まれる観測値の数で損失を除算して正規化する。
"all-elements" — X に含まれる要素の数で損失を除算して正規化する。
"mask-included" — 観測値ごとのマスクによって損失の計算に含めるように指定された要素の数で損失の値を個別に除算し、損失を正規化する。このオプションを使用するには、Mask オプションを使用してマスクを指定しなければなりません。
"none" — 損失を正規化しない。

`DataFormat` — 書式設定されていないデータの次元の順序
文字ベクトル | string スカラー

書式化されていない入力データの次元の順序。データの各次元のラベルを表す文字ベクトルまたは string スカラー FMT として指定します。

dlarray オブジェクトの書式を指定した場合、各文字は、データの各次元のラベルを表す次のいずれかの文字でなければなりません。

"S" — 空間
"C" — チャネル
"B" — バッチ (サンプルや観測値など)
"T" — 時間 (シーケンスのタイムステップなど)
"U" — 指定なし

"S" または "U" のラベルが付いた次元については、複数回指定できます。"C"、"B"、"T" のラベルについては、1 回のみ使用できます。

入力データが書式化された dlarray でないときは、DataFormat を指定しなければなりません。

データ型: char | string

`WeightsFormat` — 重みの次元の順序
文字ベクトル | string スカラー

重みの次元の順序。重みの各次元のラベルを表す文字ベクトルまたは string スカラーとして指定します。

dlarray オブジェクトの書式を指定した場合、各文字は、データの各次元のラベルを表す次のいずれかの文字でなければなりません。

"S" — 空間
"C" — チャネル
"B" — バッチ (サンプルや観測値など)
"T" — 時間 (シーケンスのタイムステップなど)
"U" — 指定なし

"S" または "U" のラベルが付いた次元については、複数回指定できます。"C"、"B"、"T" のラベルについては、1 回のみ使用できます。

weights が数値ベクトルで、Y に大きさが 1 でない次元が 2 つ以上含まれている場合は、WeightsFormat を指定しなければなりません。

weights がベクトルでない場合、または weights と Y の両方がベクトルである場合、WeightsFormat の既定値は Y の書式と同じです。

データ型: char | string

出力引数

すべて折りたたむ

`loss` — 交差エントロピー損失
`dlarray`

交差エントロピー損失。書式化されていない dlarray として返されます。出力 loss は、基となるデータ型が入力 Y のデータ型と同じ書式化されていない dlarray です。

loss のサイズは、'Reduction' オプションによって異なります。

アルゴリズム

すべて折りたたむ

交差エントロピー損失

関数 crossentropy は、入力の各要素 Y_j について、次の式を使用して交差エントロピーの対応する要素ごとの損失値を計算します。

${loss}_{j} = - (T_{j} ln Y_{j} + (1 - T_{j}) ln (1 - Y_{j})),$

ここで、T_j は、Y_j に対応するターゲット値です。

その後、この関数は、損失値をスカラーに縮小するため、次の式を使用して要素ごとの損失を縮小します。

$loss = \frac{1}{N} \sum_{j} m_{j} w_{j} {loss}_{j},$

ここで、N は正規化係数、m_j は要素 j のマスク値、w_j は要素 j の重み値です。

損失を縮小しないことを選択した場合、この関数は、次のように損失値に対してマスクと重みを直接適用します。

${loss}_{j}^{*} = m_{j} w_{j} {loss}_{j}$

次の表に、各種タスクにおける損失の計算式を示します。

タスク	説明	損失
単一ラベルの分類	互いに排他的なクラスの交差エントロピー損失。これは、観測値が 1 つのラベルのみをもつ場合に役立ちます。	$loss = - \frac{1}{N} \sum_{n = 1}^{N} \sum_{i = 1}^{K} T_{n i} ln Y_{n i},$ ここで、N および K はそれぞれ観測値とクラスの数です。
複数ラベルの分類	独立したクラスの交差エントロピー損失。これは、観測値が複数のラベルをもつことができる場合に役立ちます。	$loss = - \frac{1}{N} \sum_{n = 1}^{N} \sum_{i = 1}^{K} (T_{n i} \ln (Y_{n i}) + (1 - T_{n i}) \ln (1 - Y_{n i})),$ ここで、N および K はそれぞれ観測値とクラスの数です。
重み付きクラスを使用した単一ラベルの分類	クラスの重みを加味した交差エントロピー損失。これは、クラスの分布が不均衡なデータセットを使用する場合に役立ちます。	$loss = - \frac{1}{N} \sum_{n = 1}^{N} \sum_{i = 1}^{K} w_{i} T_{n i} ln Y_{n i},$ ここで、N および K はそれぞれ観測値とクラスの数で、w_i はクラス i の重みを表します。
sequence-to-sequence 分類	マスクされたタイムステップを加味した交差エントロピー損失。これは、パディングされたデータに対応する損失値を無視する場合に役立ちます。	$loss = - \frac{1}{N} \sum_{n = 1}^{N} \sum_{t = 1}^{S} m_{n t} \sum_{i = 1}^{K} T_{n t i} ln Y_{n t i},$ ここで、N、S、および K は観測値、タイムステップ、クラスの数で、m_nt は観測値 n のタイムステップ t のマスク値を表します。

拡張機能

GPU 配列
Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

使用上の注意および制限:

以下の入力引数の少なくとも 1 つが、gpuArray 型の基になるデータをもつ gpuArray または dlarray である場合、この関数は GPU で実行されます。
- Y
- targets
- weights
- 'Mask'

詳細については、GPU での MATLAB 関数の実行 (Parallel Computing Toolbox)を参照してください。

バージョン履歴

R2019b で導入

参考

crossentropy

構文

説明

例

単一ラベルの分類用の交差エントロピー損失

複数ラベルの分類用の交差エントロピー損失

重み付き交差エントロピー損失

入力引数

Y — 予測 dlarray | 数値配列

targets — ターゲット分類ラベル dlarray | 数値配列

weights — 重み dlarray | 数値配列

名前と値の引数

TargetCategories — 分類タスクのタイプ 'exclusive' (既定値) | 'independent'

Mask — どの要素を損失の計算に含めるかを示すマスク dlarray | logical 配列 | 数値配列

Reduction — 損失値の配列を縮小するモード "sum" (既定値) | "none"

NormalizationFactor — 縮小された損失を正規化するための序数 "batch-size" (既定値) | "all-elements" | "mask-included" | "none"

DataFormat — 書式設定されていないデータの次元の順序 文字ベクトル | string スカラー

WeightsFormat — 重みの次元の順序 文字ベクトル | string スカラー

出力引数

loss — 交差エントロピー損失 dlarray

アルゴリズム

交差エントロピー損失

拡張機能

GPU 配列 Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。

バージョン履歴

参考

トピック

`Y` — 予測
`dlarray` | 数値配列

`targets` — ターゲット分類ラベル
`dlarray` | 数値配列

`weights` — 重み
`dlarray` | 数値配列

`TargetCategories` — 分類タスクのタイプ
`'exclusive'` (既定値) | `'independent'`

`Mask` — どの要素を損失の計算に含めるかを示すマスク
`dlarray` | logical 配列 | 数値配列

`Reduction` — 損失値の配列を縮小するモード
`"sum"` (既定値) | `"none"`

`NormalizationFactor` — 縮小された損失を正規化するための序数
`"batch-size"` (既定値) | `"all-elements"` | `"mask-included"` | `"none"`

`DataFormat` — 書式設定されていないデータの次元の順序
文字ベクトル | string スカラー

`WeightsFormat` — 重みの次元の順序
文字ベクトル | string スカラー

`loss` — 交差エントロピー損失
`dlarray`

GPU 配列
Parallel Computing Toolbox™ を使用してグラフィックス処理装置 (GPU) 上で実行することにより、コードを高速化します。