畳み込みニューラルネットワークの計算に複数の GPU を使用する方法はありますか？

畳み込みニューラルネットワーク (Convolutional Neural Network; CNN) の計算を解析に使用しています。現在1枚の GPU で計算を行っていますが、計算速度の向上のため、2枚以上の GPU を使用したいと考えています。 複数の GPU で CNN の計算を行う方法を教えてください。

Answer 1

[MathWorks Support Team]

CNN で複数の GPU を使用するには、trainingOptions 関数で複数 GPU のオプションである 'ExecutionEnvironment' を指定する必要があります。 

https://www.mathworks.com/help/deeplearning/ref/trainingoptions.html

具体的な使用方法は以下のとおりです。 

>> opt = trainingOptions('ExecutionEnvironment', 'multi-gpu') 

あるいは 

>> opt = trainingOptions('ExecutionEnvironment', 'parallel') 

'ExecutionEnvironment' オプションのうち複数の GPU が使用できるオプションは 'multi-gpu' と 'parallel' の二つがあります。これらのオプションの違いは、'multi-gpu' は一つの GPU を一つの local ワーカーでしか使用できませんが、'parallel' オプションは複数の ワーカーからそれぞれの GPU にアクセスすることができます。'parallel' オプションの使用が想定される状況としては、クラスターなどの大規模演算ができる環境を使用している場合になります。 

なお、複数の GPU を使用する場合も 1枚の GPU 使用と同じで、Parallel Computing Toolbox が必要になります。