GPU Coder

NVIDIA GPU 向けの CUDA コードを生成

GPU Coder™ は、最適化された CUDA^® コードを MATLAB^® コードや Simulink^® モデルから生成します。生成されたコードには、ディープラーニングや組み込みビジョン、信号処理アルゴリズムの並列処理可能な部分の CUDA カーネルが含まれます。性能向上のため、生成されたコードは、最適化された NVIDIA^® CUDA ライブラリ (TensorRT™、cuDNN、cuFFT、cuSolver、cuBLAS など) を呼び出します。また、このコードは、ソースコードや静的ライブラリ、動的ライブラリとしてプロジェクトに統合し、NVIDIA Jetson™ や NVIDIA DRIVE™ などのプラットフォームに組み込まれたデスクトップやサーバー、GPU 用にコンパイルできます。MATLAB 内で生成した CUDA を使用することで、ディープラーニングネットワークや、アルゴリズムの計算負荷の高い部分を高速化することができます。GPU Coder を使用すると、手書きの CUDA コードをアルゴリズムや生成したコードに組み込むことができます。

Embedded Coder^® と共に使用すると、GPU Coder では、ソフトウェアインザループ (SIL) やプロセッサインザループ (PIL) テストを実行して、生成されたコードの数値的動作を検証できます。

GPU Coder とは

高速かつ柔軟性の高い CUDA コードの生成

最適化された CUDA コードを生成します。コード配布は無償です。

アルゴリズムの配布が無償

デスクトップシステムからデータセンター、組み込みハードウェアまで、一般的な NVIDIA GPU 上で生成されたコードをコンパイルして実行します。生成したコードはロイヤリティフリーなので、商用アプリケーションで顧客に無料配布することができます。

霧除去アルゴリズム向け CUDA コードの生成 (2:22)

GPU コード生成: マンデルブロ集合

ギャラリーを探す（2 画像）

GPU Coder のユーザー事例

さまざまな産業分野のエンジニアや研究者が用途に応じた CUDA コードの生成に GPU Coder を使用しています。その一部をご紹介します。

Drass、YOLO v2 ネットワークを使用した海上光学追跡および障害物認識システムを NVIDIA GPU で実行する Visual Studio アプリケーションに展開

Airbus、NVIDIA Jetson TX2 上で実行する航空機検査実証機のプロトタイプを作成し、欠陥の検出を自動化

Airbus、NVIDIA Jetson TX2 で欠陥を自動検出するプロトタイプを作成。

サポートされているツールボックスや関数からコードを生成

MATLAB 言語の幅広い機能を使用して GPU Coder で生成されるコードにより、設計エンジニアは大規模システムのコンポーネントとして使用するアルゴリズムを開発できます。MATLAB や関連ツールボックスに付属する数百の演算子や関数を利用できます。

サポートされているツールボックスと関数

MATLAB 言語機能のサポート

コード生成のための MATLAB 言語とツールボックスのサポート。

レガシーコードの統合

レガシーコードの統合機能を使用して、信頼された、または高度に最適化された CUDA コードを MATLAB アルゴリズムに統合してテストします。その後、生成されたコードからも同じ CUDA コードを呼び出します。

レガシーコードの統合

生成されたコードに既存の CUDA コードを統合。

Simulink モデルからの CUDA コードの生成

Simulink でモデルを作成し、最適化された CUDA コードを生成します。

シミュレーションの実行と NVIDIA GPU 用に最適化されたコードの生成

Simulink Coder™ を GPU Coder と共に使用して、Simulink モデルに含まれる MATLAB Function ブロックの計算量の多い部分を NVIDIA GPU 上で高速化できます。その後、Simulink モデルから最適化された CUDA コードを生成し、NVIDIA GPU ターゲットに展開できます。

GPU Coder を使ったシミュレーションの高速化

GPU Coder を使った Simulink モデルからのコード生成

NVIDIA 組み込みボードのターゲット化

GPU 上で実行するソーベルエッジ検出器の Simulink モデル。

エンドツーエンドのディープラーニングアルゴリズムの展開

Simulink モデルで Deep Learning Toolbox™ の学習済みのさまざまなディープラーニングネットワーク (ResNet-50、SegNet、LSTM など) を使用して、NVIDIA GPU に展開します。前処理と後処理用のコードを学習済みディープラーニングネットワークと共に生成して、完成したアルゴリズム全体を展開します。

サポートされるネットワークと層

MATLAB Function ブロックを使用した Simulink でのディープラーニング

Simulink の NVIDIA GPU 向けディープラーニング: GPU Coder を使用した CUDA コードの生成

信号のロギング、パラメーターの調整、コード動作の数値的検証

Simulink Coder と共に GPU Coder を使用して、エクスターナルモードシミュレーションによってリアルタイムに信号をロギングし、パラメーターを調整できます。Embedded Coder を GPU Coder と共に使用して、ソフトウェアインザループおよびプロセッサインザループのテストを実行し、生成されたコードがシミュレーションの動作と一致していることを数値的に検証します。

エクスターナルモードによるパラメーターの調整と信号の監視

数値的等価性のテスト

Simulink による NVIDIA GPU 向けディープラーニング: ECG 信号の分類

ディープラーニングネットワークからの CUDA コードの生成

Deep Learning Toolbox を使用して、学習済みのディープラーニングネットワークを展開します。

エンドツーエンドのディープラーニングアルゴリズムの展開

学習済みのさまざまなディープラーニングネットワーク (ResNet-50、SegNet、LSTM など) を Deep Learning Toolbox から NVIDIA GPU に展開します。事前定義済みのディープラーニング層を使用するか、特定の用途向けにカスタム層を定義します。前処理と後処理用のコードを学習済みディープラーニングネットワークと共に生成して、完成したアルゴリズム全体を展開します。

サポートされるネットワークと層

GPU Coder を使用した YOLO v2 でのリアルタイムオブジェクト検出 (4:24)

YOLO v3 ディープラーニングを使用したオブジェクト検出のためのコード生成

U-net を使用したセマンティックセグメンテーションネットワークの生成

Keras-TensorFlow モデル向け CUDA コードの生成方法

推論に最適化されたコードを生成

GPU Coder では、特定のアルゴリズムで推論を実行するために必要なコードのみが生成されるため、他のディープラーニングソリューションと比較して、生成されるコードのフットプリントは小さくなります。生成されたコードを使用して、TensorRT や cuDNN などの最適化されたライブラリを呼び出します。

GPU Coder で最適化された車線検出

cuDNN を使用した Titan V GPU 上での VGG-16 による単一画像推論。

TensorRT を使用したさらなる最適化

高性能なディープラーニングの推論オプティマイザーであり、ランタイムエンジンである NVIDIA TensorRT と統合するコードを生成します。標準の FP32 データ型を超える性能向上のため、INT8 または FP16 データ型を選択できます。

TensorRT を使用した NVIDIA GPU での歩行者検出 (1:34)

NVIDIA TensorRT によるディープラーニング予測

MATLAB、GPU Coder、および TensorRT を使用した Jetson AGX Xavier でのディープラーニング (24:40)

NVIDIA GPU での MATLAB および TensorRT の使用

TensorRT と INT8 データ型を使用することで実行速度が向上。

ディープラーニングの量子化

ディープラーニングネットワークを量子化してメモリ使用量を低減し、推論性能を高めます。Deep Network Quantizer アプリを使用して、性能向上と推論精度のトレードオフを解析および可視化します。

Deep Network Quantizer による INT8 の量子化

ディープニューラルネットワークの量子化

int8 量子化の概要と、ディープニューラルネットワークにおけるその人気の理由

Deep Learning Toolbox の Model Quantization Library を使用したディープネットワークの量子化と展開

生成コードの最適化

GPU Coder では、生成されたコードは自動的に最適化されます。設計パターンを使用して、さらに性能を向上させます。

CPU と GPU のメモリ転送の最小化およびメモリ使用量の最適化

GPU Coder では、CPU または GPU 上で実行できるように、MATLAB コードのセグメントの解析や識別、分割が自動的に行われます。また、CPU と GPU の間のデータコピー数も最小限に抑えられます。プロファイリングツールを使用して、他の潜在的なボトルネックを特定します。

GPU プログラミングパラダイム

カーネルの作成

GPU メモリの割り当てと最小化

生成されたコードの GPU 実行プロファイリング

潜在的なボトルネックを特定するプロファイルレポート。

最適化されたライブラリの呼び出し

GPU Coder で生成されたコードは、最適化された NVIDIA CUDA ライブラリ (TensorRT、cuDNN、cuSolver、cuFFT、cuBLAS、Thrust など) を呼び出します。MATLAB ツールボックス関数で生成されたコードは、可能な限り、最適化されたライブラリにマッピングされます。

ライブラリ呼び出しのカーネル

NVIDIA TensorRT

NVIDIA cuDNN

NVIDIA cuFFT

最適化された cuFFT CUDA ライブラリの関数を呼び出す生成コード。

設計パターンを使用したさらなる高速化

ステンシル処理などの設計パターンでは、共有メモリを使用してメモリ帯域幅を改善します。このような設計パターンは、畳み込みなどの特定の関数を使用する際に自動的に適用されます。また、特定のプラグマを使用して手動で呼び出すこともできます。

設計パターン

GPU でのステンシル処理

ステンシル処理の設計パターン。

ハードウェアでのプロトタイピング

アルゴリズムを CUDA コードに自動変換して、ハードウェアに素早くアクセスします。

NVIDIA Jetson および DRIVE プラットフォームでのプロトタイピング

GPU Coder Support Package for NVIDIA GPUs を使用して、生成されたコードのクロスコンパイルと、NVIDIA Jetson および DRIVE プラットフォームへの展開を自動化します。

GPU Coder による NVIDIA Tegra のサポート

GPU Coder による NVIDIA DRIVE のサポート

GPU Coder を使用して NVIDIA Drive、Jetson でプロトタイピングおよび展開 (2:54)

NVIDIA DRIVE でのセマンティックセグメンテーション

NVIDIA Jetson プラットフォームでのプロトタイピング。

MATLAB と生成されたコードからの周辺機器やセンサーへのアクセス

MATLAB から NVIDIA ターゲットとリモートで通信し、Web カメラやサポートされているその他の周辺機器からデータを取得して初期プロトタイプを作成できます。周辺機器のインターフェイスコードと共にアルゴリズムをボードに展開し、スタンドアロンでの実行を可能にします。

NVIDIA Jetson 上での Web カメラを使ったソーベルエッジの検出

NVIDIA Jetson TX2 プラットフォームへの展開と Web カメラ画像の分類

MATLAB と生成されたコードから周辺機器やセンサーにアクセス。

プロトタイピングから量産への移行

GPU Coder を Embedded Coder と共に使用して、MATLAB コードと生成された CUDA コードを並べて対話的にトレースします。ソフトウェアインザループ (SIL) およびプロセッサインザループ (PIL) テストを使用して、生成したコードをハードウェアで実行するときの数値的動作を検証できます。

MATLAB コードと生成された CUDA コードの間のトレース

生成されたコードの正確性の検証

GPU Coder アプリでのプロセッサインザループ実行

PIL の実行時間のプロファイリング