gradCAM
構文
説明
scoreMap = gradCAM(net,X,classIdx)classIdx によって与えられたクラスのクラス スコアをネットワーク net が評価するときの、入力 X の分類スコアの変化に関する勾配加重クラス活性化マッピング (Grad-CAM) のマップを返します。この関数を使用して、ネットワーク予測を説明し、ネットワークがデータの正しい部分に焦点を当てていることを確認します。
Grad-CAM 解釈可能性手法では、最終的な畳み込み特徴マップに対する分類スコアの勾配を使用します。観測結果において Grad-CAM マップの値が大きい部分は、そのクラスのネットワーク スコアに最も影響を与えている部分です。
分類タスクの Grad-CAM マップを計算するには、この構文を使用します。
scoreMap = gradCAM(net,X,reductionFcn)reductionFcn は、リダクション層の出力活性化をスカラー値に削減する関数ハンドルです。このスカラーは、分類タスクのクラス スコアの役目を果たし、Grad-CAM 手法を回帰などの非分類タスクに一般化します。
関数 gradCAM は、削減されたリダクション層出力を特徴層の特徴に関して微分することで、Grad-CAM のマップを計算します。gradCAM は、マップの計算に使用するリダクション層と特徴層を自動的に選択します。これらの層を指定するには、名前と値の引数 'ReductionLayer' および 'FeatureLayer' を使用します。
非分類タスクの Grad-CAM マップを計算するには、この構文を使用します。
[ は、Grad-CAM マップの計算で使用した特徴層とリダクション層の名前も返します。この構文では、前の構文の入力引数を自由に組み合わせて使用します。 scoreMap,featureLayer,reductionLayer] = gradCAM(___)
___ = gradCAM(___, では、前の構文の入力引数に加えて、1 つ以上の名前と値の引数を使用してオプションを指定します。たとえば、Name,Value)ReductionLayer="prob" は、リダクション層を "prob" という名前の net 層に設定します。
例
gradCAM を使用して、ネットワークによる分類の判定にとってイメージのどの部分が重要かを可視化します。
事前学習済みのネットワーク SqueezeNet をインポートします。
[net,classes] = imagePretrainedNetwork("squeezenet");イメージをインポートし、ネットワークの入力サイズに合わせてサイズを変更します。
X = imread("laika_grass.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);イメージを表示します。
imshow(X)
イメージを分類してクラス ラベルを取得します。
scores = predict(net,single(X)); label = scores2label(scores,classes)
label = categorical
toy poodle
gradCAM を使用して、分類結果にとってイメージのどの部分が重要かを判定します。ネットワーク内のソフトマックス層をリダクション層として指定します。
scoreMap = gradCAM(net,X,label,ReductionLayer="prob");結果を元のイメージの上に半透明でプロットし、イメージのどの領域が分類スコアに最も寄与しているかを確認します。
figure imshow(X) hold on imagesc(scoreMap,AlphaData=0.5) colormap jet
このネットワークは、主に犬の背中に焦点を当てて分類の判定を行っています。
Grad-CAM を使用して、イメージ回帰ネットワークによる予測にとってイメージのどの部分が最も重要かを可視化します。
事前学習済みのネットワーク digitsRegressionNet を読み込みます。このネットワークは、手書き数字の回転角度を予測する回帰畳み込みニューラル ネットワークです。
load digitsRegressionNetネットワーク層を表示します。ネットワークの出力層は回帰層です。
layers = net.Layers
layers =
17×1 Layer array with layers:
1 'imageinput' Image Input 28×28×1 images with 'zerocenter' normalization
2 'conv_1' 2-D Convolution 8 3×3×1 convolutions with stride [1 1] and padding 'same'
3 'batchnorm_1' Batch Normalization Batch normalization with 8 channels
4 'relu_1' ReLU ReLU
5 'avgpool2d_1' 2-D Average Pooling 2×2 average pooling with stride [2 2] and padding [0 0 0 0]
6 'conv_2' 2-D Convolution 16 3×3×8 convolutions with stride [1 1] and padding 'same'
7 'batchnorm_2' Batch Normalization Batch normalization with 16 channels
8 'relu_2' ReLU ReLU
9 'avgpool2d_2' 2-D Average Pooling 2×2 average pooling with stride [2 2] and padding [0 0 0 0]
10 'conv_3' 2-D Convolution 32 3×3×16 convolutions with stride [1 1] and padding 'same'
11 'batchnorm_3' Batch Normalization Batch normalization with 32 channels
12 'relu_3' ReLU ReLU
13 'conv_4' 2-D Convolution 32 3×3×32 convolutions with stride [1 1] and padding 'same'
14 'batchnorm_4' Batch Normalization Batch normalization with 32 channels
15 'relu_4' ReLU ReLU
16 'dropout' Dropout 20% dropout
17 'fc' Fully Connected 1 fully connected layer
テスト イメージを読み込みます。
load DigitsDataTestテスト イメージでネットワーク性能を評価します。
testIdx = 501; testDigit = XTest(:,:,:,testIdx);
predict を使用して回転角度を予測し、予測した回転と実際の回転を比較します。
predRotation = predict(net,testDigit)
predRotation = single
26.5635
trueRotation = anglesTest(testIdx)
trueRotation = 29
gradCAM を使用して、ネットワークによる予測にとって最も重要なイメージの領域を可視化します。特徴層として ReLU 層を選択し、リダクション層として全結合層を選択します。
featureLayer = 'relu_4'; reductionLayer = 'fc';
リダクション関数を定義します。リダクション関数は、リダクション層の出力をスカラー値に削減しなければなりません。Grad-CAM マップは、そのスカラー値に対するイメージの各部分の重要度を表示します。今回の回帰問題では、ネットワークによってイメージの回転角度が予測されます。したがって、全結合層の出力は既にスカラー値であり、リダクション層は単なる恒等関数です。
reductionFcn = @(x)x;
Grad-CAM マップを計算します。
scoreMap = gradCAM(net,testDigit,reductionFcn, ... 'ReductionLayer',reductionLayer, ... 'FeatureLayer',featureLayer);
テスト イメージの上に Grad-CAM マップを表示します。
ax(1) = subplot(1,2,1); imshow(testDigit) title("True Rotation = " + trueRotation + newline + "Pred Rotation = " + round(predRotation,0)) colormap(ax(1),'gray') ax(2) = subplot(1,2,2); imshow(testDigit) hold on imagesc(rescale(scoreMap)) colormap(ax(2),'jet') title("Grad-CAM") hold off
gradCAM を使用して、ネットワークによる分類の判定にとってシーケンスのどの部分も重要かを可視化します。
事前学習済みのネットワーク JapaneseVowelsConvNet を読み込みます。このネットワークは、[1] および [2] で説明されているように Japanese Vowels データ セットで学習させた事前学習済みの 1 次元畳み込みニューラル ネットワーク ネットワークです。
load JapaneseVowelsConvNetネットワーク アーキテクチャを表示します。
net.Layers
ans =
10×1 Layer array with layers:
1 'sequenceinput' Sequence Input Sequence input with 12 dimensions
2 'conv1d_1' 1-D Convolution 32 3×12 convolutions with stride 1 and padding 'causal'
3 'relu_1' ReLU ReLU
4 'layernorm_1' Layer Normalization Layer normalization with 32 channels
5 'conv1d_2' 1-D Convolution 64 3×32 convolutions with stride 1 and padding 'causal'
6 'relu_2' ReLU ReLU
7 'layernorm_2' Layer Normalization Layer normalization with 64 channels
8 'globalavgpool1d' 1-D Global Average Pooling 1-D global average pooling
9 'fc' Fully Connected 9 fully connected layer
10 'softmax' Softmax softmax
テスト データを読み込みます。XTest は、次元 12 の可変長のシーケンスが含まれる cell 配列です。TTest は、9 人の話者に対応するラベル "1","2",...,"9" から成る categorical ベクトルです。
load JapaneseVowelsTestData最初の時系列の観測値を選択します。このシーケンスには 19 個のタイム ステップが含まれています。
testSequence = XTest{1};
testSize = size(testSequence)testSize = 1×2
12 19
numFeatures = testSize(1);
最初の時系列をプロットで可視化します。各ラインは特徴に対応しています。
figure plot(testSequence') title("Test Observation 1") xlabel("Time Step") legend("Feature " + string(1:numFeatures),'Location','northeastoutside')
テスト観測値を分類します。
scores = predict(net,testSequence,InputDataFormats="CT");
label = scores2label(scores,categories(TTest))label = categorical
1
gradCAM を使用して、分類結果にとってシーケンスのどの部分が重要かを判定します。
map = gradCAM(net,testSequence,label);
map は、19 個の各タイム ステップに関する重要度の値を含む 1 行 19 列のベクトルです。
結果をプロットし、どのタイム ステップが分類スコアに最も寄与しているかを確認します。
figure subplot(2,1,1) plot(testSequence') xlabel("Time Step") subplot(2,1,2) plot(map) xlabel("Time Step") ylabel("Grad-CAM Importance")
Grad-CAM マップは、ネットワークが後半のタイム ステップに焦点を当てて分類の判定を行っていることを示唆しています。
入力引数
名前と値の引数
出力引数
詳細
ヒント
関数
reductionFcnは、リダクション層からの出力をトレースされたdlarrayオブジェクトとして受け取ります。この関数は、この出力をスカラーdlarrayに削減しなければなりません。gradCAMは、特徴層の活性化に関してこのスカラーを微分します。たとえば、ネットワークのソフトマックス活性化に含まれるチャネル 208 について Grad-CAM マップを計算する場合、リダクション関数は@(x)(x(208))となります。この関数は、活性化を受け取って 208 番目のチャネルを抽出します。関数
gradCAMは、Grad-CAM マップの計算に使用するリダクション層と特徴層を自動的に選択します。ネットワークによっては、選択された層が適切でない場合があります。たとえば、特徴層として使用できる層がネットワークに複数含まれている場合、この関数はその層のいずれかを選択しますが、その選択が最適であるとは限りません。そのようなネットワークの場合、名前と値の引数FeatureLayerを使用して、どの特徴層を使用するかを指定します。グレースケール イメージの上に Grad-CAM マップを重ねて表示するには、まず、範囲が [0, 1] となるようにマップを再スケーリングしなければなりません。たとえば、
scoreMapRescaled = rescale(scoreMap);のようにします。
参照
[1] Kudo, Mineichi, Jun Toyama, and Masaru Shimbo. “Multidimensional Curve Classification Using Passing-through Regions.” Pattern Recognition Letters 20, no. 11–13 (November 1999): 1103–11. https://doi.org/10.1016/S0167-8655(99)00077-X.
[2] UCI Machine Learning Repository: Japanese Vowels Dataset. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels.
[3] Selvaraju, Ramprasaath R., Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. “Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization.” 2017 (October 2017): 618–626, https://doi.org/10.1109/ICCV.2017.74.
[4] Vinogradova, Kira, Alexandr Dibrov, and Gene Myers. “Towards Interpretable Semantic Segmentation via Gradient-Weighted Class Activation Mapping.” Proceedings of the AAAI Conference on Artificial Intelligence 34, no. 10 (April 2020): 13943–13944, https://doi.org/10.1609/aaai.v34i10.7244.
