Deep Learning HDL Toolbox

FPGA でのディープラーニングの推論

エッジ実装向けに、FPGA上でディープラーニング ネットワークをプロトタイピングして実装します。

プログラム可能なディープラーニング プロセッサ

このツールボックスには、スケジューリング ロジックによって制御される汎用的な畳み込みと、全結合層を備えたディープラーニング プロセッサが含まれています。このディープラーニング プロセッサは、Deep Learning Toolbox™ を使用して開発されたネットワークの推論を FPGA ベースで実行します。高帯域幅のメモリインタフェースは、層および重みデータのメモリ転送を高速化します。

ディープラーニング プロセッサ アーキテクチャ
現在サポートされているネットワークと層
ディープラーニング プロセッサには、指定されたネットワークを実行するようプログラムされた、汎用的な畳み込みと全結合処理モジュールが含まれます。

ディープラーニング プロセッサ アーキテクチャ。

コンパイルと展開

ディープラーニング ネットワークを、ディープラーニング プロセッサで実行できるよう命令セットにコンパイルします。FPGA に展開し、デバイス上での実際の性能メトリクスをキャプチャしながら予測を実行します。

車線検出向けの転移学習ネットワークの展開
FPGA 上で画像を分類する AlexNet、VGG-19、DarkNet-19 の比較
FPGA 上での YOLO v2 を使用した車両検出
ディープラーニング ネットワークを、ディープラーニング プロセッサに展開できるよう命令セットにコンパイルします。

YOLO v2 ネットワークのコンパイルおよび展開。

事前構築済みのビットストリームを使用して始める

普及している FPGA 開発キット用の利用可能なビットストリームを使用して、FPGA プログラミングなしでネットワークをプロトタイピングします。

5 行の MATLAB コードを追加するだけで FPGA 上でディープラーニングを試行
Deep Learning HDL Toolbox の Xilinx FPGA および SoC サポート
Deep Learning HDL Toolbox の Intel FPGA および SoC サポート
MATLAB を使用した Xilinx FPGA でのディープラーニングのプロトタイピング.
ビデオの長さ 3:25.
MATLAB を使用した Xilinx FPGA でのディープラーニングのプロトタイピング

MATLAB での FPGA ベースの推論

MATLAB から FPGA 上でのディープラーニングの推論を実行します。

展開用のネットワークの作成

Deep Learning Toolbox を使用して、オブジェクトの検出や分類などのタスク用にディープラーニング ネットワークの設計、学習、解析を開始します。また、他のフレームワークから学習済みのネットワークや層をインポートして開始することもできます。

AlexNet を使用した転移学習
分類を行う単純なディープラーニング ネットワークの作成
ディープラーニングのインポート、エクスポート、カスタマイズ
MATLAB によるディープラーニング: 10 行の MATLAB コードで転移学習.
ビデオの長さ 3:59.
MATLAB によるディープラーニング: 10 行の MATLAB コードで転移学習

FPGA に学習済みのネットワークを展開

学習済みのネットワークの準備ができたら、deploy コマンドを使用して、イーサネットまたは JTAG インターフェイス経由でディープラーニング プロセッサを FPGA にプログラムします。次に、compile コマンドを使用して、FPGA を再度プログラムすることなく、準備した学習済みのネットワーク用の命令セットを生成します。

イーサネットを利用した Xilinx ZCU102 SoC へのディープラーニング FPGA 展開を始める
JTAG を利用した Intel Arria 10 SoC へのディープラーニング FPGA 展開を始める
高速イーサネットベースの展開
MATLAB を使用してボードやインターフェイスを構成し、ネットワークをコンパイルして、FPGA に展開。

MATLAB を使用してボードやインターフェイスを構成し、ネットワークをコンパイルして、FPGA に展開。

MATLAB アプリケーションの一部として FPGA ベースの推論を実行

テストベンチ、前処理および後処理アルゴリズム、FPGA ベースのディープラーニング推論を含むアプリケーション全体を MATLAB® で実行します。MATLAB の単一コマンドである predict コマンドは、FPGA 上で推論を実行し、結果を MATLAB ワークスペースに返します。

カスタムの学習済み欠陥検出ネットワーク
車線検出向けの転移学習ネットワークの展開
MATLAB ループは、イメージをキャプチャし、AlexNet 用にサイズ変更して前処理を行い、FPGA 上でディープラーニング推論を実行してから、結果を後処理して表示します。

FPGA 上でディープラーニング推論を行う MATLAB アプリケーションを実行。

ネットワークのカスタマイズ

ターゲットの FPGA または SoC デバイス上でのアプリケーション固有の要件を満たすように、ディープラーニング・ネットワークを調整します。

FPGA 推論のプロファイリング

FPGA 上で予測を実行しながら層レベルのレイテンシを測定し、性能のボトルネックを発見します。

FPGA での推論性能のプロファイリング
Intel Arria 10 SoC での LogoNet のプロファイリング
ディープラーニングの推論のプロファイリング メトリクス。

MATLAB から FPGA 上でのディープラーニング ネットワークの推論をプロファイリング。

ネットワーク設計の調整

プロファイル メトリクスを使用して、Deep Learning Toolbox でネットワーク構成を調整します。たとえば、ディープ ネットワーク デザイナーを使用して、層の追加、層の削除、または新しい接続を作成します。

ディープラーニング ネットワークを対話的に構築、可視化、および編集する (3:54)
FPGA 上で Resnet-50 ネットワークからの畳み込み層のみを使用
ディープ ネットワーク デザイナー
FPGA でのディープラーニング ネットワークのプロトタイピングおよび調整.
ビデオの長さ 5:21.
FPGA でのディープラーニング ネットワークのプロトタイピングおよび調整

ディープラーニングの量子化

ディープラーニング ネットワークを固定小数点表現に量子化することで、リソースの使用量を削減します。Model Quantization Library サポート パッケージを使用して、精度とリソース使用量とのトレードオフを解析します。

ディープラーニングの固定小数点量子化
int8 量子化の概要と、ディープ ニューラル ネットワークにおけるその人気の理由
量子化 DAG ネットワークを使用した FPGA での画像分類
Deep Learning Toolbox の Model Quantization Library を使用したディープネットワークの量子化と展開.
ビデオの長さ 5:14.
Deep Learning Toolbox の Model Quantization Library を使用したディープネットワークの量子化と展開

カスタム RTL 実装の展開

ディープラーニング・プロセッサのカスタム RTL 実装を、HDL Coder を使用して任意の FPGA、ASIC、または SoC デバイスに展開します。

ディープラーニング プロセッサのカスタム構成

並列スレッド数や最大層サイズなど、ディープラーニング プロセッサを実装するためのハードウェア アーキテクチャのオプションを指定します。

カスタムプロセッサ構成のワークフロー
ディープラーニングのインポート、エクスポート、カスタマイズ
ディープラーニング プロセッサ用の HDL の生成.
ビデオの長さ 3:58.
ディープラーニング プロセッサ用の HDL の生成

論理合成可能な RTL の生成

さまざまな実装ワークフローやデバイスで使用するために、HDL Coder を使用して、ディープラーニング プロセッサから論理合成可能な RTL を生成します。プロトタイピングと量産展開のために同じディープラーニング プロセッサを再利用します。

カスタム ディープラーニング プロセッサの構成と生成
カスタム ビットストリームの生成
dlhdl.BuildProcessor クラスは、カスタム ディープラーニング プロセッサから論理合成可能な RTL を生成します。

ディープラーニング プロセッサから論理合成可能な RTL を生成。

統合のための IP コアの生成

HDL Coder がディープラーニング・プロセッサから RTL を生成する場合、SoC リファレンス設計に統合するための標準 AXI インターフェイスを備えた IP コアも生成します。

Xilinx Zynq UltraScale+ MPSoC プラットフォーム用のハードウェアとソフトウェアの協調設計ワークフローを開始する
Intel SoC デバイス用のハードウェアとソフトウェアの協調設計ワークフローを開始する
HDL Coder は、ディープラーニング プロセッサの入力および出力を AXI インターフェイスにマッピングする IP コアを生成します。

I/O と AXI インターフェイス間のマッピングを示すターゲット プラットフォーム インターフェイス テーブル。

製品リソース:

ドキュメンテーション 関数 動作環境 リリース ノート 例