U-Net を使用する ARM Neon ターゲットでのセマンティックセグメンテーションアプリケーションのコード生成

この例では次を使用します。

この例では、深層学習を使用するイメージセグメンテーションアプリケーションのコードを生成する方法を説明します。codegen コマンドを使用して、U-Net の DAG ネットワークオブジェクトで予測を実行するスタティックライブラリを生成します。U-Net は、イメージセグメンテーション用の深層学習ネットワークです。

同様の例で、イメージセグメンテーションに U-Net を使用して codegen コマンドを使用しない場合については、深層学習を使用したマルチスペクトルイメージのセマンティックセグメンテーション (Image Processing Toolbox)を参照してください。

必要条件

NEON 拡張をサポートし、RAM が 3 GB 以上の ARM® プロセッサ
ARM Compute Library (ターゲット ARM ハードウェア上)
コンパイラおよびライブラリの環境変数
MATLAB® Coder™
MATLAB Coder Interface for Deep Learning サポートパッケージ
Deep Learning Toolbox™

この例で使用されている ARM Compute Library のバージョンは、コード生成でサポートされている最新バージョンではない可能性があります。サポートされているライブラリのバージョン、および環境変数の詳細については、深層学習に MATLAB Coder を使用するための前提条件 (MATLAB Coder)を参照してください。

この例は、MATLAB Online ではサポートされていません。

U-Net の概要

U-Net [1] は、セマンティックイメージセグメンテーション用に設計された、畳み込みニューラルネットワーク (CNN) の一種です。U-Net では、最初の一連の畳み込み層に最大プーリング層が点在し、入力イメージの解像度を逐次下げていきます。これらの層に、一連の畳み込み層が続き、その中にアップサンプリング演算処理が点在し、入力イメージの解像度を逐次上げていきます。これらの 2 つの一連の経路を組み合わせると U 字形の図が形成されます。U-Net ネットワークは、元は生物医学のイメージセグメンテーションアプリケーションで予測を実行するために学習させたものです。この例は、このネットワークで時間の経過に伴う森林被覆の変化を追跡できることを示しています。環境保護機関は、森林伐採を追跡し、地域の環境的生態学的健全性を評価し資格を与えます。

深層学習ベースのセマンティックセグメンテーションにより、高解像度の航空写真から植被を正確に測定できます。そのような計算の課題の 1 つに、視覚的に類似した特性をもつクラスを切り分けること、たとえば緑のピクセルを草、低木、または樹木として区別することがあります。分類の精度を高めるために、一部のデータセットには各ピクセルに関する追加情報を提供するマルチスペクトルイメージが含まれています。たとえば、ハームリンビーチ州立公園のデータセットでは、クラスをより明確に分離する近赤外チャネルでカラーイメージが補完されています。

この例では、各ピクセルを正しく分類するために、事前学習済みの U-Net ネットワークと共にハームリンビーチ州立公園のデータ [2] を使用します。

この例で使用する U-Net は、次の 18 クラスのセットに属するピクセルをセグメント化するように学習させています。

0. Other Class/Image Border      7. Picnic Table         14. Grass
1. Road Markings                 8. Black Wood Panel     15. Sand
2. Tree                          9. White Wood Panel     16. Water (Lake)
3. Building                     10. Orange Landing Pad   17. Water (Pond)
4. Vehicle (Car, Truck, or Bus) 11. Water Buoy           18. Asphalt (Parking Lot/Walkway)
5. Person                       12. Rocks
6. Lifeguard Chair              13. Other Vegetation

エントリポイント関数 `segmentationUnetARM`

エントリポイント関数 segmentationUnetARM は、multispectralUnet.mat ファイル内に含まれる multispectralUnet ネットワークを使用して、入力イメージに対してパッチ単位のセマンティックセグメンテーションを実行します。この関数は、ネットワークオブジェクトを multispectralUnet.mat ファイルから永続変数 mynet に読み込み、以降の予測呼び出しではその永続変数を再利用します。

type('segmentationUnetARM.m')

%  OUT = segmentationUnetARM(IM) returns a semantically segmented
%  image, which is segmented using the network multispectralUnet. This segmentation
%  is performed on the input image patchwise on patches of size 256,256.
%
% Copyright 2019-2020 The MathWorks, Inc.
function out = segmentationUnetARM(im)

%#codegen

persistent mynet;

if isempty(mynet)
    mynet = coder.loadDeepLearningNetwork('trainedUnet/multispectralUnet.mat');
end

% The input data has to be padded to the size compatible
% with the network Input Size. This input_data is padded inorder to
% perform semantic segmentation on each patch of size (Network Input Size)
[height, width, nChannel] = size(im);
patch = coder.nullcopy(zeros([256, 256, nChannel-1]));
% 
padSize = zeros(1,2);
padSize(1) = 256 - mod(height, 256);
padSize(2) = 256 - mod(width, 256);
% 
% Pad image must have have dimensions as multiples of network input dimensions
im_pad = padarray (im, padSize, 0, 'post');
[height_pad, width_pad, ~] = size(im_pad);
% 
out = zeros([size(im_pad,1), size(im_pad,2)], 'uint8');

for i = 1:256:height_pad    
    for j =1:256:width_pad        
        for p = 1:nChannel -1             
            patch(:,:,p) = squeeze( im( i:i+255,...
                                            j:j+255,...
                                            p));            
        end
         
        % pass in input
        segmentedLabels = activations(mynet, patch, 'Segmentation-Layer');
        
        % Takes the max of each channel (6 total at this point)
        [~,L] = max(segmentedLabels,[],3);
        patch_seg = uint8(L);
        
        % populate section of output
        out(i:i+255, j:j+255) = patch_seg;
       
    end
end

% Remove the padding
out = out(1:height, 1:width);

事前学習済みの U-Net DAG ネットワークオブジェクトの取得

multispectralUnet.mat ファイルをダウンロードし、U-Net DAG ネットワークオブジェクトを読み込みます。

if ~exist('trainedUnet/multispectralUnet.mat','file')
    trainedUnet_url = 'https://www.mathworks.com/supportfiles/vision/data/multispectralUnet.mat';
    downloadUNet(trainedUnet_url,pwd);
end

ld = load("trainedUnet/multispectralUnet.mat");
net = ld.net;

この DAG ネットワークには、畳み込み層、最大プーリング層、深さ連結層、ピクセル分類出力層など、58 個の層が含まれています。深層学習ネットワークアーキテクチャを対話的に可視化して表示するには、関数 analyzeNetwork を使用します。

analyzeNetwork(net);

入力データの準備

ハームリンビーチ州立公園のデータをダウンロードします。

if ~exist(fullfile(pwd,'data'),'dir')
    url = 'http://home.cis.rit.edu/~cnspci/other/data/rit18_data.mat';
    downloadHamlinBeachMSIData(url,pwd+"/data/");
end

データを MATLAB に読み込んで確認します。

load(fullfile(pwd,'data','rit18_data','rit18_data.mat'));

データを検証します。

whos test_data

イメージには 7 個のチャネルがあります。RGB カラーチャネルは 4 番目、5 番目および 6 番目のイメージチャネルです。最初の 3 つのチャネルは、近赤外帯域に対応します。熱の痕跡に基づいて、イメージの異なる成分を強調します。チャネル 7 は有効なセグメンテーション領域を示すマスクです。

マルチスペクトルイメージデータは numChannels x width x height 配列に配置されます。MATLAB では、マルチチャネルイメージは width x height x numChannels 配列に配置されます。チャネルが 3 番目の次元になるようにデータを形状変更するには、補助関数 switchChannelsToThirdPlane を使用します。

test_data = switchChannelsToThirdPlane(test_data);

データが正しい構造体であることを確認します (チャネルの最後)。

whos test_data

この例では、変数 test_data に含まれるハームリンビーチ州立公園の全データセットをトリミングしたバージョンを使用します。test_data の高さと幅をトリミングして、この例で使用する変数 input_data を作成します。

test_datacropRGB = imcrop(test_data(:,:,1:3),[2600, 3000, 2000, 2000]);
test_datacropInfrared = imcrop(test_data(:,:,4:6),[2600, 3000, 2000, 2000]);
test_datacropMask = imcrop(test_data(:,:,7),[2600, 3000, 2000, 2000]);

input_data(:,:,1:3) = test_datacropRGB;
input_data(:,:,4:6) = test_datacropInfrared;
input_data(:,:,7) = test_datacropMask;

変数 input_data を検証します。

whos('input_data');

生成された実行可能ファイルへの入力として渡されるテキストファイルに入力データを書き込みます。

WriteInputDatatoTxt(input_data);
[height, width, channels] = size(input_data);

スタティックライブラリ用のコード生成構成オブジェクトの設定

ARM ベースのデバイスをターゲットとするコードを生成するには、ライブラリの構成オブジェクトを作成します。実行可能プログラム用の構成オブジェクトは作成しません。C++ ソースコードの生成のみを行うための構成オブジェクトを設定します。

cfg = coder.config('lib');
cfg.TargetLang = 'C++';
cfg.GenCodeOnly = true;

深層学習コード生成用の構成オブジェクトの設定

coder.ARMNEONConfig オブジェクトを作成します。ターゲット ARM プロセッサのライブラリバージョンとアーキテクチャを指定します。たとえば、ターゲットボードが ARMv8 アーキテクチャと ARM Compute Library バージョン 20.02.1 を備えた HiKey/Rock960 ボードであるとします。

dlcfg = coder.DeepLearningConfig('arm-compute');
dlcfg.ArmComputeVersion = '20.02.1';
dlcfg.ArmArchitecture = 'armv8';

コード生成構成オブジェクト cfg の DeepLearningConfig プロパティを、深層学習構成オブジェクト dlcfg に割り当てます。

cfg.DeepLearningConfig = dlcfg;

`codegen` を使用した C++ ソースコードの生成

codegen -config cfg segmentationUnetARM -args {ones(size(input_data),'uint16')} -d unet_predict -report

コードは、ホストコンピューターの現在の作業ディレクトリにある unet_predict フォルダーに生成されます。

`packNGo` を使用した Zip ファイルの生成

関数 packNGo はすべての関連ファイルを Zip 圧縮ファイルにパッケージ化します。

zipFileName = 'unet_predict.zip'; 
bInfo = load(fullfile('unet_predict','buildInfo.mat'));
packNGo(bInfo.buildInfo, {'fileName', zipFileName,'minimalHeaders', false, 'ignoreFileMissing',true});

生成された Zip ファイルの名前は unet_predict.zip です。

生成された Zip ファイルのターゲットハードウェアへのコピー

Zip ファイルをターゲットハードウェアボードにコピーします。Zip ファイルの内容をフォルダーに解凍し、ハードウェアから Zip ファイルを削除します。

以下のコマンドで、次を置き換えます。

password: 自分のパスワード
username: 自分のユーザー名
targetname: 自分のデバイスの名前
targetDir: ファイルの保存先フォルダー

Linux® プラットフォームで、ターゲットハードウェアの Zip ファイルを転送および解凍するには、次のコマンドを実行します。

if isunix, system(['sshpass -p password scp -r '  fullfile(pwd,zipFileName) ' username@targetname:targetDir/']), end
if isunix, system('sshpass -p password ssh username@targetname "if [ -d targetDir/unet_predict ]; then rm -rf targetDir/unet_predict; fi"'), end
if isunix, system(['sshpass -p password ssh username@targetname "unzip targetDir/' zipFileName ' -d targetDir/unet_predict"']), end
if isunix, system(['sshpass -p password ssh username@targetname "rm -rf  targetDir/' zipFileName '"']), end

Windows® プラットフォームで、ターゲットハードウェアの Zip ファイルを転送および解凍するには、次のコマンドを実行します。

if ispc, system(['pscp.exe -pw password -r '  fullfile(pwd,zipFileName) ' username@targetname:targetDir/']), end
if ispc, system('plink.exe -l username -pw password targetname "if [ -d targetDir/unet_predict ]; then rm -rf targetDir/unet_predict; fi"'), end
if ispc, system(['plink.exe -l username -pw password targetname "unzip targetDir/' zipFileName ' -d targetDir/unet_predict"']), end
if ispc, system(['plink.exe -l username -pw password targetname "rm -rf  targetDir/' zipFileName '"']), end

サポート対象のファイルのターゲットハードウェアへのコピー

次のファイルをホストコンピューターからターゲットハードウェアにコピーします。

入力データ (input_data.txt)
ライブラリを作成するための makefile (unet_predict_rtw.mk)
実行可能プログラムをビルドするための makefile (makefile_unet_arm_generic.mk)

以下のコマンドで、次を置き換えます。

password: 自分のパスワード
username: 自分のユーザー名
targetname: 自分のデバイスの名前
targetDir: ファイルの保存先フォルダー

Linux® プラットフォームで、サポート対象のファイルをターゲットハードウェアに転送するには、次のコマンドを実行します。

if isunix, system('sshpass -p password scp unet_predict_rtw.mk username@targetname:targetDir/unet_predict/'), end
if isunix, system('sshpass -p password scp input_data.txt username@targetname:targetDir/unet_predict/'), end
if isunix, system('sshpass -p password scp makefile_unet_arm_generic.mk username@targetname:targetDir/unet_predict/'), end

Windows® プラットフォームで、サポート対象のファイルをターゲットハードウェアに転送するには、次のコマンドを実行します。

if ispc, system('pscp.exe -pw password unet_predict_rtw.mk username@targetname:targetDir/unet_predict/'), end
if ispc, system('pscp.exe -pw password input_data.txt username@targetname:targetDir/unet_predict/'), end
if ispc, system('pscp.exe -pw password makefile_unet_arm_generic.mk username@targetname:targetDir/unet_predict/'), end

ターゲットハードウェアでのライブラリのビルド

ターゲットハードウェアでライブラリをビルドするには、生成された makefile を ARM ハードウェアで実行します。

ターゲットハードウェアで環境変数 ARM_COMPUTELIB と LD_LIBRARY_PATH が設定されていることを確認します。深層学習に MATLAB Coder を使用するための前提条件 (MATLAB Coder)を参照してください。変数 ARM_ARCH は、ARM アーキテクチャに基づいてコンパイラフラグを渡すために makefile で使用されます。変数 ARM_VER は makefile で使用され、ARM Compute Library のバージョンに基づいてコードをコンパイルします。

Linux ホストのプラットフォームでは、次のコマンドを実行してライブラリをビルドします。

if isunix, system(['sshpass -p password ssh username@targetname "make -C targetDir/unet_predict/ -f unet_predict_rtw.mk ARM_ARCH=' dlcfg.ArmArchitecture ' ARM_VER=' dlcfg.ArmComputeVersion ' "']), end

Windows ホストのプラットフォームでは、次のコマンドを実行してライブラリをビルドします。

if ispc, system(['plink.exe -l username -pw password targetname "make -C targetDir/unet_predict/ -f unet_predict_rtw.mk ARM_ARCH=' dlcfg.ArmArchitecture ' ARM_VER=' dlcfg.ArmComputeVersion ' "']), end

ターゲットでの実行可能ファイルの作成

以下のコマンドで、targetDir をライブラリが生成される保存先フォルダーに置き換えます。変数 height、width、および channels は、入力データの次元を表します。

main_unet_arm_generic.cpp は、C++ のメインラッパーファイルであり、関数 segmentationUnetARM を呼び出して、入力イメージを渡します。ラッパーファイルを使用してライブラリをビルドし、実行可能ファイルを作成します。

Linux ホストのプラットフォームで、実行可能ファイルを作成するには、次のコマンドを実行します。

if isunix, system('sshpass -p password scp main_unet_arm_generic.cpp username@targetname:targetDir/unet_predict/'), end
if isunix, system(['sshpass -p password ssh username@targetname "make -C targetDir/unet_predict/ IM_H=' num2str(height) ' IM_W=' num2str(width) ' IM_C=' num2str(channels) ' -f makefile_unet_arm_generic.mk"']), end

Windows ホストのプラットフォームで、実行可能ファイルを作成するには、次のコマンドを実行します。

if ispc, system('pscp.exe -pw password main_unet_arm_generic.cpp username@targetname:targetDir/unet_predict/'), end
if ispc, system(['plink.exe -l username -pw password targetname "make -C targetDir/unet_predict/ IM_H=' num2str(height) ' IM_W=' num2str(width) ' IM_C=' num2str(channels) ' -f makefile_unet_arm_generic.mk"']), end

ターゲットハードウェア上での実行可能ファイルの実行

入力イメージファイル input_data.txt を使用して、ターゲットハードウェア上で実行可能ファイルを実行します。

Linux ホストのプラットフォームでは、次のコマンドを実行します。

if isunix, system('sshpass -p password ssh username@targetname "cd targetDir/unet_predict/; ./unet input_data.txt output_data.txt"'), end

Windows ホストのプラットフォームでは、次のコマンドを実行します。

if ispc, system('plink.exe -l username -pw password targetname "cd targetDir/unet_predict/; ./unet input_data.txt output_data.txt"'), end

実行可能ファイル unet は、入力データを受け入れます。input_data のサイズ (2001x2001x7) が大きいため、パッチで入力イメージを処理する方が簡単です。実行可能ファイルは、入力イメージを複数のパッチに分割し、それぞれがネットワークの入力サイズに対応するようにします。実行可能ファイルは、一度に 1 つの特定のパッチのピクセルに対して予測を実行し、その後、すべてのパッチをまとめて結合します。

ターゲットハードウェアから MATLAB への出力の転送

生成された出力ファイル output_data.txt を現在の MATLAB セッションにコピーして戻します。Linux プラットフォームでは、次を実行します。

if isunix, system('sshpass -p password scp username@targetname:targetDir/unet_predict/output_data.txt ./'), end

Windows プラットフォームで同じアクションを実行するには、次を実行します。

if ispc, system('pscp.exe -pw password username@targetname:targetDir/unet_predict/output_data.txt ./'), end

出力データを変数 segmentedImage に格納します。

segmentedImage = uint8(importdata('output_data.txt'));
segmentedImage = reshape(segmentedImage,[height,width]);

セグメント化されたイメージの有効な部分だけを抽出するには、セグメント化されたイメージに入力データのマスクチャネルを乗算します。

segmentedImage = uint8(input_data(:,:,7)~=0) .* segmentedImage;

関数 medfilt2 を使用して、ノイズと散在ピクセルを除去します。

segmentedImageCodegen = medfilt2(segmentedImage,[5,5]);

U-Net のセグメント化されたデータの表示

このコード行は、クラス名のベクトルを作成します。

classNames = net.Layers(end).Classes;
disp(classNames);

セグメント化された RGB テストイメージにラベルを重ね合わせ、セグメント化されたイメージにカラーバーを追加します。

入力データを表示します。

figure(1);
imshow(histeq(input_data(:,:,1:3)));
title('Input Image');

cmap = jet(numel(classNames));
segmentedImageOut = labeloverlay(imadjust(input_data(:,:,4:6),[0 0.6],[0.1 0.9],0.55),segmentedImage,'Transparency',0,'Colormap',cmap);
figure(2);
imshow(segmentedImageOut);

セグメント化されたデータを表示します。

title('Segmented Image using Codegen on ARM');
N = numel(classNames);
ticks = 1/(N*2):1/N:1;
colorbar('TickLabels',cellstr(classNames),'Ticks',ticks,'TickLength',0,'TickLabelInterpreter','none');
colormap(cmap)

セグメント化されたオーバーレイイメージを表示します。

segmentedImageOverlay = labeloverlay(imadjust(input_data(:,:,4:6),[0 0.6],[0.1 0.9],0.55),segmentedImage,'Transparency',0.7,'Colormap',cmap);
figure(3);
imshow(segmentedImageOverlay);
title('Segmented Overlayed Image');

参考文献

[1] Ronneberger, Olaf, Philipp Fischer, and Thomas Brox."U-Net: Convolutional Networks for Biomedical Image Segmentation." arXiv preprint arXiv:1505.04597, 2015.

[2] Kemker, R., C. Salvaggio, and C. Kanan. "High-Resolution Multispectral Dataset for Semantic Segmentation." CoRR, abs/1703.01918, 2017.

[3] 使用される基準入力データは、ハームリンビーチ州立公園のデータの一部です。次の手順で、さらに評価するためにデータをダウンロードできます。

if ~exist(fullfile(pwd,'data'))
    url = 'http://home.cis.rit.edu/~cnspci/other/data/rit18_data.mat';
    downloadHamlinBeachMSIData(url,pwd+"/data/");
end

[4] Kemker, Ronald, Carl Salvaggio, and Christopher Kanan. "Algorithms for Semantic Segmentation of Multispectral Remote Sensing Imagery Using Deep Learning." ISPRS Journal of Photogrammetry and Remote Sensing, Deep Learning RS Data, 145 (November 1, 2018): 60-77. https://doi.org/10.1016/j.isprsjprs.2018.04.014.

参考

coder.ARMNEONConfig (MATLAB Coder) | coder.DeepLearningConfig (MATLAB Coder) | coder.hardware (MATLAB Coder) | packNGo (MATLAB Coder)

U-Net を使用する ARM Neon ターゲットでのセマンティック セグメンテーション アプリケーションのコード生成

必要条件

U-Net の概要

エントリポイント関数 segmentationUnetARM

事前学習済みの U-Net DAG ネットワーク オブジェクトの取得

入力データの準備

スタティック ライブラリ用のコード生成構成オブジェクトの設定

深層学習コード生成用の構成オブジェクトの設定

codegen を使用した C++ ソース コードの生成

packNGo を使用した Zip ファイルの生成

生成された Zip ファイルのターゲット ハードウェアへのコピー

サポート対象のファイルのターゲット ハードウェアへのコピー

ターゲット ハードウェアでのライブラリのビルド