NVIDIA DRIVE でのセマンティックセグメンテーション

この例では次を使用します。

この例では、深層学習を使用するイメージセグメンテーションアプリケーションの CUDA® 実行可能ファイルを生成して展開する方法について説明します。これは MATLAB® Coder™ Support Package for NVIDIA® Jetson™ and NVIDIA DRIVE™ Platforms を使用して、NVIDIA DRIVE™ プラットフォーム上に実行可能ファイルを展開します。この例では、ホストコンピューターでコード生成を実行し、生成されたコードを、サポートパッケージのリモートビルド機能を使用して、ターゲットプラットフォーム上でビルドします。詳細については、セマンティックセグメンテーションネットワークのコード生成を参照してください。

必要条件

ターゲットボード要件

NVIDIA DRIVE PX2 組み込みプラットフォーム。
ターゲットボードとホスト PC を接続するイーサネットクロスオーバーケーブル (ターゲットボードをローカルネットワークに接続できない場合)。
ボードにインストールされている NVIDIA CUDA Toolkit。
ターゲット上の NVIDIA cuDNN ライブラリ (v5 以上)。
イメージを読み取って表示するためのターゲット上の OpenCV ライブラリ。
コンパイラおよびライブラリ用のターゲット上の環境変数。詳細については、Install and Setup Prerequisites for NVIDIA Boardsを参照してください。

開発用ホスト要件

CUDA コード生成の場合、ホスト上の NVIDIA CUDA Toolkit と、コンパイラおよびライブラリ用の環境変数。詳細については、サードパーティハードウェアと前提条件となる製品の設定を参照してください。

NVIDIA DRIVE への接続

このサポートパッケージは、生成された CUDA コードを DRIVE プラットフォームでビルドおよび実行している間、TCP/IP による SSH 接続を使用してコマンドを実行します。ターゲットプラットフォームをホストコンピューターと同じネットワークに接続するか、イーサネットクロスケーブルを使用してボードをホストコンピューターに直接接続します。ボードを設定して構成する方法については、NVIDIA のドキュメントを参照してください。

Drive オブジェクトの作成

NVIDIA ハードウェアと通信するには、関数 jdriveを使用してライブハードウェア接続オブジェクトを作成します。

hwobj = drive('drive-board-name','ubuntu','ubuntu');

ターゲットボードに初めて接続するときは、ターゲットボードのホスト名 (または IP アドレス)、ユーザー名、およびパスワードを提供しなければなりません。以降の接続では、アドレス、ユーザー名、パスワードを入力する必要はありません。ハードウェアオブジェクトは、最近 NVIDIA ボードに正常に接続されたときの設定を再利用します。

ハードウェアライブオブジェクトの作成時、サポートパッケージはハードウェアとソフトウェアのチェックを実行し、ターゲットボードに MATLAB IO サーバーをインストールし、ターゲットに接続されている周辺デバイスの情報を収集します。この情報はコマンドウィンドウに表示されます。接続に失敗した場合は、MATLAB コマンドラインで診断エラーメッセージが報告されます。接続が失敗した場合に最も可能性が高い原因は、IP アドレスまたはホスト名が誤っていることです。

ターゲットボードでの GPU 環境の検証

この例を実行するのに必要なコンパイラおよびライブラリが正しく設定されていることを検証するために、関数coder.checkGpuInstallを使用します。

envCfg = coder.gpuEnvConfig('drive');
envCfg.BasicCodegen = 1;
envCfg.Quiet = 1;
envCfg.HardwareObject = hwobj;
coder.checkGpuInstall(envCfg);

事前学習済みの SegNet DAG ネットワークオブジェクトの取得

net = getSegNet();

Downloading pre-trained SegNet (107 MB)...

この DAG ネットワークには、畳み込み層、バッチ正規化層、プーリング層、逆プーリング層、ピクセル分類出力層など、91 個の層が含まれています。ネットワークのすべての層を表示するには、関数 analyzeNetwork を使用します。

GPU Coder を使用したターゲットボード向けの CUDA コードの生成

この例では、segnet_predict.m ファイルをコード生成用のエントリポイント関数として使用します。NVIDIA ターゲットに展開できる CUDA 実行可能ファイルを生成するには、実行可能ファイルを生成するための GPU コード構成オブジェクトを作成します。

cfg = coder.gpuConfig('exe');

異なるターゲットに対する複数のライブ接続オブジェクトがある場合、コードジェネレーターは最新のライブオブジェクトが作成されたターゲットボードでリモートビルドを実行します。リモートビルドを実行するハードウェアボードを選択するには、各ライブハードウェアオブジェクトの setupCodegenContext() メソッドを使用します。ライブ接続オブジェクトが 1 つしか作成されていない場合は、このメソッドを呼び出す必要がありません。

hwobj.setupCodegenContext;

DRIVE プラットフォーム用の構成オブジェクトを作成し、それをコード構成オブジェクト cfg の Hardware プロパティに割り当てるには、関数coder.hardwareを使用します。

cfg.Hardware = coder.hardware('NVIDIA Drive');

ターゲットボードでリモートビルドプロセスを実行するフォルダーを指定するには、BuildDir プロパティを使用します。指定したビルドフォルダーがターゲットボード上にない場合は、指定した名前でフォルダーが作成されます。値が cfg.Hardware.BuildDir に代入されない場合は、リモートビルドプロセスは最後に指定されたビルドフォルダーで発生します。格納されているビルドフォルダー値がない場合、ビルドプロセスはホームフォルダーで行われます。

cfg.Hardware.BuildDir = '~/remoteBuildDir';

複数の GPU を含む DRIVE PX2 などの NVIDIA プラットフォームでは、GPU 構成オブジェクトの SelectCudaDevice プロパティを使用して特定の GPU を選択します。

cfg.GpuConfig.SelectCudaDevice = 0;

カスタム main.cu ファイルは、生成コード内で関数 predict を呼び出すラッパーです。後処理手順は OpenCV インターフェイスを使用することによってメインファイルに追加されます。SegNet 予測の出力は 11 チャネルイメージです。ここでの 11 チャネルは、11 の異なるクラスの予測スコアを表しています。後処理で、各ピクセルに 11 チャネルのうちで最大のスコアをもつクラスラベルが割り当てられます。各クラスには、可視化用の一意の色が関連付けられます。最終出力は OpenCV 関数 imshow を使用して表示されます。

cfg.CustomSource  = fullfile('main.cu');

この例では、コード生成でネットワークへの入力としてイメージが使用されます。ただし、カスタムメインファイルは、ビデオを入力として受け取ってそのビデオシーケンスのフレームごとに SegNet 予測を実行するようにコード化されています。OpenCV ライブラリを使用して実行可能ファイルをビルドするために必要なコンパイラフラグとリンカーフラグは、|segnet_predict.m| ファイル内の buildinfo セクションで更新されます。

コード生成のためのサンプルイメージ入力を生成します。

img = imread('peppers.png');
img = imresize(img,[360 480]);

CUDA コードを生成するには、関数codegenを使用して、GPU コード構成、入力サイズ、およびエントリポイント関数 segnet_predict.m を渡します。ホストでコード生成が行われた後、生成されたファイルがターゲットボードにコピーされ、そこでビルドされます。

codegen('-config ', cfg, 'segnet_predict', '-args', {img},'-report');

ターゲットボードでの実行可能ファイルの実行

ハードウェアオブジェクトの workspaceDir プロパティを使用して、入力テストビデオをターゲットワークスペースフォルダーにコピーします。このプロパティには、ターゲットボード上の codegen フォルダーへのパスが含まれています。

hwobj.putFile('CamVid.avi', hwobj.workspaceDir);

ターゲットハードウェアで実行可能ファイルを起動するには、ハードウェアオブジェクトの runApplication() メソッドを使用します。

hwobj.runApplication('segnet_predict','CamVid.avi');

セグメント化されたイメージ出力が、ターゲットボードに接続されたモニターのウィンドウに表示されます。

ターゲットボード上で実行中の実行可能ファイルは、ハードウェアオブジェクトの killApplication() メソッドを使用して、ホスト上の MATLAB 環境から停止できます。この方法では、実行可能ファイルの名前ではなく、アプリケーションの名前を使用します。

hwobj.killApplication('segnet_predict');

参考

オブジェクト

jetson | drive

NVIDIA DRIVE でのセマンティック セグメンテーション

必要条件

NVIDIA DRIVE への接続

Drive オブジェクトの作成

ターゲット ボードでの GPU 環境の検証

事前学習済みの SegNet DAG ネットワーク オブジェクトの取得

GPU Coder を使用したターゲット ボード向けの CUDA コードの生成

ターゲット ボードでの実行可能ファイルの実行

参考