Main Content

crossentropy

分類タスク用の交差エントロピー損失

R2019b 以降

説明

交差エントロピー演算は、単一ラベルおよび複数ラベルの分類タスクについて、ネットワーク予測とターゲット値の間の交差エントロピー損失を計算します。

関数 crossentropy は、dlarray データとして表された予測とターゲットとの間の交差エントロピー損失を計算します。dlarray オブジェクトを使用すると、次元にラベルを付けることができるため、高次元のデータをより簡単に扱うことができます。たとえば、"S""T""C""B" のラベルを使用して、各次元が空間、時間、チャネル、バッチのどの次元に対応するかを示すことができます。特に指定がないその他の次元については、ラベル "U" を使用します。特定の次元に対して演算を行うオブジェクト関数 dlarray の場合、dlarray オブジェクトを直接書式化するか、DataFormat オプションを使用することで、次元ラベルを指定できます。

メモ

関数 trainNetwork で使用するために、layerGraph オブジェクト内または Layer 配列内で交差エントロピー損失を計算するには、classificationLayer を使用します。

関数 trainnet を使用し、交差エントロピー損失に基づいて学習させるには、損失関数を "crossentropy" に設定します。

loss = crossentropy(Y,targets) は、単一ラベルの分類タスク用に、予測を含む書式化された dlarray オブジェクト Y とターゲット値 targets との間の categorical 交差エントロピー損失を返します。出力 loss は、書式化されていない dlarray スカラーです。

書式化されていない入力データの場合は、'DataFormat' オプションを使用します。

loss = crossentropy(Y,targets,weights) は、計算された損失値に重みを適用します。計算された損失値に対し、入力のクラス、観測値、領域、または個々の要素による寄与を重み付けするには、この構文を使用します。

Y が書式化されていない dlarray である場合、loss = crossentropy(___,'DataFormat',FMT) は、次元形式 FMT も指定します。

loss = crossentropy(___,Name,Value) は、前の構文の入力引数に加えて、1 つ以上の名前と値のペアの引数を使用してオプションを指定します。たとえば、'ClassificationMode','multilabel' は、複数ラベルの分類タスク用の交差エントロピー損失を計算します。

すべて折りたたむ

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;

Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');
dlY = softmax(dlY);

予測スコアのサイズと形式を表示します。

size(dlY)
ans = 1×2

    10    12

dims(dlY)
ans = 
'CB'

one-hot ベクトルとして符号化された、ターゲットの配列を作成します。

labels = randi(numClasses,[1 numObservations]);
targets = onehotencode(labels,1,'ClassNames',1:numClasses);

ターゲットのサイズを表示します。

size(targets)
ans = 1×2

    10    12

予測とターゲットとの間の交差エントロピー損失を計算します。

loss = crossentropy(dlY,targets)
loss = 
  1x1 dlarray

    2.3343

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;
Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');

予測スコアのサイズと形式を表示します。

size(dlY)
ans = 1×2

    10    12

dims(dlY)
ans = 
'CB'

0 と 1 から成る数値配列として符号化された、ターゲットのランダム配列を作成します。各観測値は複数のクラスをもつことができます。

targets = rand(numClasses,numObservations) > 0.75;
targets = single(targets);

ターゲットのサイズを表示します。

size(targets)
ans = 1×2

    10    12

予測とターゲットとの間の交差エントロピー損失を計算します。複数ラベルの分類用の交差エントロピー損失を指定するには、'ClassificationMode' オプションを 'multilabel' に設定します。

loss = crossentropy(dlY,targets,'ClassificationMode','multilabel')
loss = 
  1x1 single dlarray

    9.8853

10 個のクラスに関する 12 個の観測値の予測スコアから成る配列を作成します。

numClasses = 10;
numObservations = 12;

Y = rand(numClasses,numObservations);
dlY = dlarray(Y,'CB');
dlY = softmax(dlY);

予測スコアのサイズと形式を表示します。

size(dlY)
ans = 1×2

    10    12

dims(dlY)
ans = 
'CB'

one-hot ベクトルとして符号化された、ターゲットの配列を作成します。

labels = randi(numClasses,[1 numObservations]);
targets = onehotencode(labels,1,'ClassNames',1:numClasses);

ターゲットのサイズを表示します。

size(targets)
ans = 1×2

    10    12

クラスの重みから成るベクトルを使用して、予測とターゲットとの間の重み付き交差エントロピー損失を計算します。'WeightsFormat' オプションを使用して、'UC' (指定なし、チャネル) という重み形式を指定します。

weights = rand(1,numClasses);
loss = crossentropy(dlY,targets,weights,'WeightsFormat','UC')
loss = 
  1x1 dlarray

    1.1261

入力引数

すべて折りたたむ

予測。書式化された dlarray、書式化されていない dlarray、または数値配列として指定します。Y が書式化された dlarray でない場合、DataFormat オプションを使用して次元形式を指定しなければなりません。

Y が数値配列の場合、targetsdlarray でなければなりません。

ターゲット分類ラベル。書式化された (または書式化されていない) dlarray、あるいは数値配列として指定します。

one-hot 符号化されたラベルを含み、サイズと形式が Y と同じ配列として、ターゲットを指定します。たとえば、YnumObservationsnumClasses 列の配列である場合、観測値 n がクラス i に属するのであれば targets(n,i) = 1、そうでなければ targets(n,i) = 0 です。

targets が書式化された dlarray の場合、その形式は Y の形式と同じでなければなりません。Y が書式化されていない場合、その形式は DataFormat の形式と同じでなければなりません。

targets が書式化されていない dlarray または数値配列の場合、関数は、Y の形式または DataFormat の値を targets に適用します。

ヒント

書式化された dlarray オブジェクトは、"S" (空間)、"C" (チャネル)、"B" (バッチ)、"T" (時間)、"U" (指定なし) の順序となるように、基となるデータの次元を自動的に並べ替えます。さらに、Y が書式化された dlarray の場合、Ytargets の次元が必ず一致するように、書式化された dlarray として targets を指定します。

重み。dlarray または数値配列として指定します。

クラスの重みを指定するには、サイズが Y'C' (チャネル) 次元と同じである 'C' (チャネル) 次元をもつベクトルを指定します。書式化された dlarray オブジェクトを使用するか、'WeightsFormat' オプションを使用して、クラスの重みの 'C' (チャネル) 次元を指定します。

観測値の重みを指定するには、サイズが Y'B' (バッチ) 次元と同じである 'B' (バッチ) 次元をもつベクトルを指定します。書式化された dlarray オブジェクトを使用するか、'WeightsFormat' オプションを使用して、クラスの重みの 'B' (バッチ) 次元を指定します。

入力の各要素の重みを個別に指定するには、Y と同じサイズの配列として重みを指定します。この場合、weights が書式化されていない dlarray オブジェクトであれば、この関数は Y と同じ書式を使用します。または、'WeightsFormat' オプションを使用して重みの書式を指定します。

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、コンマを使用して名前と値をそれぞれ区切り、Name を引用符で囲みます。

例: 'ClassificationMode','multilabel','DataFormat','CB' は、複数ラベルの分類タスク用の交差エントロピー損失を評価し、入力データの次元の順序を 'CB' として指定します。

分類タスクのタイプ。以下のいずれかの値として指定します。

  • "single-label" — 各観測値は 1 つのクラス ラベルに排他的に割り当てられます (単一ラベルの分類)。この関数は、targets によって指定された単一カテゴリのターゲット値と Y に含まれる対応する予測との間の損失を計算し、観測値の数で平均化します。

  • "multilabel" — 各観測値は複数の独立したクラス ラベルに割り当てられます (複数ラベルの分類)。この関数は、targets によって指定された各カテゴリと Y に含まれるそれらのカテゴリに関する予測との間の損失の合計を計算し、観測値の数で平均化します。このタイプの分類タスクに関する交差エントロピー損失は、バイナリ交差エントロピー損失とも呼ばれます。

メモ

バイナリ分類用の分類モードを選択するには、ネットワークの出力層を考慮しなければなりません。

  • 最後の層の出力サイズが 1 の場合 (例: シグモイド層)、"multilabel" を使用します。

  • 最後の層の出力サイズが 2 の場合 (例: ソフトマックス層)、"single-label" を使用します。

どの要素を損失の計算に含めるかを示すマスク。dlarray オブジェクト、logical 配列、または Y と同じサイズの数値配列として指定します。

この関数は、入力データの要素を損失の計算に含めるかどうかを、マスク内の対応する値が 1 であるか 0 であるかによって決定します。

Mask が書式化された dlarray オブジェクトである場合、その書式は Y の書式と一致しなければなりません。Mask が書式化されていない dlarray オブジェクトである場合、この関数は Y と同じ書式を使用します。

DataFormat オプションを指定した場合、この関数は指定された書式もマスクに使用します。

Mask の各次元のサイズは、Y の対応する次元のサイズと一致していなければなりません。既定値は 1 から成る logical 配列です。

ヒント

書式化された dlarray オブジェクトは、"S" (空間)、"C" (チャネル)、"B" (バッチ)、"T" (時間)、"U" (指定なし) の順序となるように、基となるデータの次元を自動的に並べ替えます。たとえば、dlarray オブジェクトは、書式が "TSCSBS" であるデータの次元を "SSSCBT" という書式になるように自動的に並べ替えます。

また、Y が書式化された dlarray である場合、Y とマスクの次元が必ず一致するように、書式化された dlarray としてマスクを指定します。

損失値の配列を縮小するモード。次のいずれかとして指定します。

  • "sum" — 損失値の配列に含まれるすべての要素を加算する。この場合、出力 loss はスカラーです。

  • "none" — 損失値の配列を縮小しない。この場合、出力 loss は、Y と同じサイズの書式化されていない dlarray オブジェクトです。

Reduction"sum" であるときに、縮小された損失を正規化するための除数。次のいずれかとして指定します。

  • "batch-size"Y に含まれる観測値の数で損失を除算して正規化する。

  • "all-elements"Y に含まれる要素の数で損失を除算して正規化する。

  • "mask-included" — 観測値ごとのマスクによって損失の計算に含めるように指定された要素の数で損失の値を個別に除算し、損失を正規化する。このオプションを使用するには、Mask オプションを使用してマスクを指定しなければなりません。

  • "none" — 損失を正規化しない。

データの次元の説明。文字ベクトルまたは string スカラーとして指定します。

データの形式は文字列で、各文字はデータ内の対応する次元のタイプを表します。

各文字は以下のとおりです。

  • "S" — 空間

  • "C" — チャネル

  • "B" — バッチ

  • "T" — 時間

  • "U" — 指定なし

たとえば、シーケンスのバッチを含み、1 番目、2 番目、および 3 番目の次元がそれぞれチャネル、観測値、およびタイム ステップに対応する配列の場合、"CBT" の形式で指定できます。

"S" または "U" のラベルが付いた次元については、複数回指定できます。"C""B""T" のラベルについては、1 回のみ使用できます。ソフトウェアは、2 番目の次元の後ろにある大きさ 1 の "U" 次元を無視します。

入力データが書式化された dlarray オブジェクトでない場合は、DataFormat オプションを指定しなければなりません。

詳細については、Deep Learning Data Formatsを参照してください。

データ型: char | string

重みの次元の説明。文字ベクトルまたは string スカラーとして指定します。

データの形式は文字列で、各文字はデータ内の対応する次元のタイプを表します。

各文字は以下のとおりです。

  • "S" — 空間

  • "C" — チャネル

  • "B" — バッチ

  • "T" — 時間

  • "U" — 指定なし

たとえば、シーケンスのバッチを含み、1 番目、2 番目、および 3 番目の次元がそれぞれチャネル、観測値、およびタイム ステップに対応する配列の場合、"CBT" の形式で指定できます。

"S" または "U" のラベルが付いた次元については、複数回指定できます。"C""B""T" のラベルについては、1 回のみ使用できます。ソフトウェアは、2 番目の次元の後ろにある大きさ 1 の "U" 次元を無視します。

weights が数値ベクトルで、Y に大きさが 1 でない次元が 2 つ以上含まれている場合は、WeightsFormat オプションを指定しなければなりません。

weights がベクトルでない場合、または weightsY がベクトルである場合、WeightsFormat の既定値は Y の書式と同じです。

詳細については、Deep Learning Data Formatsを参照してください。

データ型: char | string

出力引数

すべて折りたたむ

交差エントロピー損失。書式化されていない dlarray として返されます。出力 loss は、基となるデータ型が入力 Y のデータ型と同じ書式化されていない dlarray です。

loss のサイズは、'Reduction' オプションによって異なります。

アルゴリズム

すべて折りたたむ

交差エントロピー損失

関数 crossentropy は、入力の各要素 Yj について、次の式を使用して交差エントロピーの対応する要素ごとの損失値を計算します。

lossj=(TjlnYj+(1Tj)ln(1Yj)),

ここで、Tj は、Yj に対応するターゲット値です。

その後、この関数は、損失値をスカラーに縮小するため、次の式を使用して要素ごとの損失を縮小します。

loss=1Njmjwjlossj,

ここで、N は正規化係数、mj は要素 j のマスク値、wj は要素 j の重み値です。

損失を縮小しないことを選択した場合、この関数は、次のように損失値に対してマスクと重みを直接適用します。

lossj*=mjwjlossj

次の表に、各種タスクにおける損失の計算式を示します。

タスク説明損失
単一ラベルの分類互いに排他的なクラスの交差エントロピー損失。これは、観測値が 1 つのラベルのみをもつ場合に役立ちます。

loss=1Nn=1Ni=1KTnilnYni,

ここで、N および K はそれぞれ観測値とクラスの数です。

複数ラベルの分類独立したクラスの交差エントロピー損失。これは、観測値が複数のラベルをもつことができる場合に役立ちます。

loss=1Nn=1Ni=1K(Tniln(Yni)+(1Tni)ln(1Yni)),

ここで、N および K はそれぞれ観測値とクラスの数です。

重み付きクラスを使用した単一ラベルの分類クラスの重みを加味した交差エントロピー損失。これは、クラスの分布が不均衡なデータセットを使用する場合に役立ちます。

loss=1Nn=1Ni=1KwiTnilnYni,

ここで、N および K はそれぞれ観測値とクラスの数で、wi はクラス i の重みを表します。

sequence-to-sequence 分類マスクされたタイムステップを加味した交差エントロピー損失。これは、パディングされたデータに対応する損失値を無視する場合に役立ちます。

loss=1Nn=1Nt=1Smnti=1KTntilnYnti,

ここで、N、S、および K は観測値、タイム ステップ、クラスの数で、mnt は観測値 n のタイム ステップ t のマスク値を表します。

深層学習配列の形式

深層学習のほとんどのネットワークと関数は、入力データの各次元に対して異なる方法で演算を行います。

たとえば、LSTM 演算は入力データの時間次元を反復処理し、バッチ正規化演算は入力データのバッチ次元を正規化します。

ラベルが付いた次元をもつ入力データ、または追加のレイアウト情報をもつ入力データを指定するには、"データ形式" を使用します。

データの形式は文字列で、各文字はデータ内の対応する次元のタイプを表します。

各文字は以下のとおりです。

  • "S" — 空間

  • "C" — チャネル

  • "B" — バッチ

  • "T" — 時間

  • "U" — 指定なし

たとえば、シーケンスのバッチを含み、1 番目、2 番目、および 3 番目の次元がそれぞれチャネル、観測値、およびタイム ステップに対応する配列の場合、"CBT" の形式で指定できます。

書式化された入力データを作成するには、dlarray オブジェクトを作成し、2 番目の引数を使用して形式を指定します。

書式化されていないデータを使用して追加のレイアウト情報を指定するには、引数 DataFormat および WeightsFormat を使用して形式を指定します。

詳細については、Deep Learning Data Formatsを参照してください。

拡張機能

バージョン履歴

R2019b で導入

すべて展開する