深層学習におけるデータレイアウトの考慮事項

生成された CUDA^® C++ コードを使用するアプリケーションをビルドする場合、生成コードを呼び出す CUDA C++ main 関数を提供しなければなりません。既定では、codegen コマンドを使用するソースコード、スタティックライブラリ、ダイナミックライブラリ、および実行可能ファイルのコード生成に対して、GPU Coder™ は CUDA C++ main ファイルの例 (ビルドフォルダーの examples サブフォルダーにある main.cu ソースファイルと main.h ヘッダーファイル) を生成します。このメインファイルの例は、生成された CUDA コードをアプリケーションに組み込むのに役立つテンプレートです。main 関数の例は、動的に割り当てられたものを含むデータを宣言して初期化します。これは、エントリポイント関数を呼び出しますが、エントリポイント関数が返す値は使用しません。

深層畳み込みニューラルネットワーク (CNN) のコードを生成する際に、コードジェネレーターは NVIDIA^® cuDNN、NVIDIA GPU の TensorRT または ARM^® Mali GPU の ARM Compute Library を利用します。これらのライブラリには、イメージ、ビデオ、およびその他のデータを保持する入力テンソルに対する固有のデータレイアウト要件があります。アプリケーションのビルド時にカスタムの main 関数をオーサリングする場合、これらのライブラリに必要な形式で生成されたエントリポイント関数にデータを提供する入力バッファーを作成しなければなりません。

CNN のデータレイアウト形式

深層畳み込みニューラルネットワーク (CNN) の場合、2 次元イメージのバッチに対する形式を定義するために、次の文字をもつ 4 次元テンソル記述子が使用されます。

N – バッチサイズ
C – 特徴マップの数 (チャネル数)
H – 高さ
W – 幅

最も一般的に使われる 4 次元テンソル形式を示します。文字は、ストライドの降順に並べ替えられて表示されます。

NCHW
NHWC
CHWN

これらのうち、GPU Coder は NCHW 形式を使用します (既定では列優先のレイアウト)。行優先のレイアウトを使用するには、codegen コマンドに -rowmajor オプションを渡します。あるいは、コード生成構成オブジェクトの cfg.RowMajor パラメーターを変更して、行優先のレイアウトでコードを構成します。

たとえば、次元 N=1、C=3、H=5、W=4 をもつイメージのバッチについて考えます。イメージピクセル要素が整数のシーケンスで表される場合、入力イメージは次のように図形で表すことができます。