% 現在の実装はtorchの再実装に由来しており、AlexのシングルGPU実装では256フィルタ、Krizhevskyの2GPU実装では384フィルタを使用しています。
% オリジナルのAlexNetモデルは、1つのGPUで学習するにはモデルが大きすぎたため、2つのGTX 580 3GB GPUを使用して学習する必要がありました(当時)。
% Krizhevsky(論文の著者)は、異なる次元のシングルGPU実装をリリースし、PyTorchの実装はそこから来ています。
これはPyTorchの実装に関するQ&AでMATLABのそれとは異なりますが、要するに実装の都合ではないでしょうか?(確認した訳ではありません)