MATLAB による深層学習

深層学習とは

"深層学習" とは、人間が生まれながらに身に付けている、経験から学ぶという行動をするようにコンピューターに学習させる機械学習の一分野です。機械学習アルゴリズムは、事前に定義された方程式をモデルとして使用するのではなく、計算法を使用して情報をデータから直接 "学習" します。深層学習は画像認識に特に適しており、顔認識、動き検出などの問題のほか、自動運転、車線検出、歩行者検出、自動駐車などの先進運転者支援技術の多くが抱える問題を解決するために重要です。

Deep Learning Toolbox™ には、深層ニューラルネットワークの層の作成と相互結合を行うためのシンプルな MATLAB^® コマンドが用意されています。例と事前学習済みのネットワークを利用すると、高度なコンピュータービジョンアルゴリズムやニューラルネットワークの知識がなくても、MATLAB を使用して簡単に深層学習を行うことができます。

実際の深層学習の各種手法を無料でお試しいただくには、ディープラーニング入門をご覧ください。

何をしますか?	詳細
転移学習を実行してネットワークを自分のデータで微調整する	転移学習を使用した短時間での深層学習の開始ヒント通常、新しいタスクを学習するように事前学習済みのネットワークを微調整する方が、新しいネットワークに学習させるよりもはるかに簡単で時間がかかりません。
事前学習済みのネットワークでイメージを分類する	事前学習済みの深層ニューラルネットワーク
分類または回帰用の新しい深層ニューラルネットワークを作成する	分類用のシンプルな深層学習ネットワークの作成回帰用の畳み込みニューラルネットワークの学習
学習または予測用にイメージのサイズ変更、回転、または前処理を行う	イメージの深層学習向け前処理
フォルダー名を基に自動で、またはアプリを使用して対話的にイメージデータにラベルを付ける	イメージ分類についてのネットワークの学習イメージラベラー (Computer Vision Toolbox)
シーケンスおよび時系列データ用の深層学習ネットワークを作成する	深層学習を使用したシーケンスの分類深層学習を使用した時系列予測
イメージ (道路、車、歩行者など) の各ピクセルを分類する	深層学習を使用したセマンティックセグメンテーション入門 (Computer Vision Toolbox)
イメージ内のオブジェクトを検出して認識する	深層学習、セマンティックセグメンテーション、検出 (Computer Vision Toolbox)
テキストデータを分類する	深層学習を使用したテキストデータの分類
音声認識のためにオーディオデータを分類する	深層学習を使用した音声コマンド認識
ネットワークが学習した特徴を可視化する	GoogLeNet を使用した Deep Dream イメージ畳み込みニューラルネットワークの活性化の可視化
CPU、GPU、複数の GPU による学習、デスクトップまたはクラウドのクラスターにおける並列学習、大きすぎてメモリに収まらないデータセットの処理	GPU および並列でのビッグデータを使用した深層学習

自動運転などの深層学習の応用分野の詳細は、深層学習の応用を参照してください。

事前学習済みのネットワークを使用するか、新しい深いネットワークを作成するか、この表のシナリオを検討して選択してください。

	転移学習に事前学習済みのネットワークを使用	新しい深いネットワークを作成
学習データ	ラベル付けされた数百枚から数千枚のイメージ (小規模)	ラベル付けされた数千枚から数百万枚のイメージ
計算	計算量が中程度 (GPU はオプション)	計算量が多い (速度のために GPU 必須)
学習時間	数秒から数分	実際の問題で数日から数週間
モデルの精度	良い (事前学習済みのモデルによる)	高い (ただし、小規模なデータセットには過適合する場合がある)

詳細については、ネットワークアーキテクチャの選択を参照してください。

深層学習はニューラルネットワークを使用して、有用な特徴表現をデータから直接学習します。ニューラルネットワークとは、複数の非線形処理層を組み合わせであり、生物の神経系からヒントを得た並列実行するシンプルな要素を使用します。深層学習モデルは、オブジェクトの分類において最先端の精度を達成でき、しばしば人間の能力を超えることがあります。

モデルの学習は、ラベル付けされた大規模なデータセットと、通常は複数の畳み込み層を含む多くの層から成るニューラルネットワークアーキテクチャを使用して行います。これらのモデルの学習は計算量が多くなります。通常は、高性能の GPU を使用して学習時間を短縮できます。次の図は、畳み込みニューラルネットワークが多くのイメージから特徴を自動的に学習する層をどのように組み合わせて新しいイメージを分類しているかを示しています。

多くの深層学習アプリケーションは、イメージファイルを使用します。場合によっては、数百万枚のイメージファイルを使用することもあります。深層学習用の多くのイメージファイルに効率的にアクセスするために、MATLAB には関数 imageDatastore が用意されています。この関数を使用して、以下が行えます。

イメージをバッチ単位で自動的に読み取り、機械学習とコンピュータービジョンアプリケーションの処理を高速化
大きすぎてメモリに収まらないイメージコレクションからデータをインポート
フォルダー名に基づいて自動的にイメージにラベル付け

10 行の MATLAB コードによる深層学習の例

この例では、わずか 10 行の MATLAB コードを使用して、深層学習でライブ Web カメラに映ったオブジェクトを特定する方法を説明します。この例を試して、MATLAB でどれほど簡単に深層学習を始めることができるか確認してください。

次のコマンドを実行して (ダウンロードが必要な場合あり)、Web カメラに接続し、事前学習済みのニューラルネットワークを取得します。
```
camera = webcam; % Connect to the camera
net = alexnet;   % Load the neural network
```
webcam および alexnet アドオンをインストールする必要がある場合は、各関数からのメッセージに表示されるリンクから、アドオンエクスプローラーを使用して無料のアドオンをダウンロードできます。または、Deep Learning Toolbox Model for AlexNet Network および MATLAB Support Package for USB Webcams を参照してください。
Deep Learning Toolbox Model for AlexNet Network をインストールすると、それを使用してイメージを分類できます。AlexNet は、100 万枚を超えるイメージで学習している事前学習済みの畳み込みニューラルネットワーク (CNN) で、イメージを 1000 個のオブジェクトカテゴリ (キーボード、マウス、マグカップ、鉛筆、多くの動物など) に分類できます。
次のコードを実行し、ライブイメージを表示して分類します。Web カメラをあるオブジェクトに向けると、Web カメラに表示されているオブジェクトのクラスがニューラルネットワークによって判断されて報告されます。イメージの分類は、Ctrl+C キーを押すまで続行されます。このコードでは、imresize (Image Processing Toolbox) を使用して、このネットワーク用にイメージをリサイズしています。
```
while true
    im = snapshot(camera);       % Take a picture
    image(im);                   % Show the picture
    im = imresize(im,[227 227]); % Resize the picture for alexnet
    label = classify(net,im);    % Classify the picture
    title(char(label));          % Show the class label
    drawnow
end
```
この例では、ネットワークはマグカップを正しく分類しています。身の回りのオブジェクトで実験して、このネットワークの精度を確認してください。

この例のビデオを見るには、Deep Learning in 11 Lines of MATLAB Code を参照してください。
この例を拡張してクラスの確率スコアを表示する方法については、深層学習を使用した Web カメライメージの分類を参照してください。
深層学習の次のステップとして、この事前学習済みのネットワークを他のタスクに使用できます。転移学習または特徴抽出を使用して、自分のイメージデータで新しい分類問題を解決してみましょう。例については、転移学習を使用した短時間での深層学習の開始と事前学習済みのネットワークから抽出された特徴を使用した分類器の学習を参照してください。他の事前学習済みのネットワークを試してみるには、事前学習済みの深層ニューラルネットワークを参照してください。

転移学習を使用した短時間での深層学習の開始

転移学習は、深層学習アプリケーションでよく使用されています。事前学習済みのネットワークを取得して、新しいタスクの学習の開始点として使用できます。転移学習によってネットワークを微調整する方が、ゼロから学習させるよりもはるかに簡単で時間がかかりません。少ない数の学習イメージを使用して、ネットワークに新しいタスクを高速に学習させることができます。転移学習の利点は、事前学習済みのネットワークが既に特徴を多数学習しており、これらの特徴を他のさまざまな類似タスクに適用できることです。

たとえば、数千枚または数百万枚のイメージで学習したネットワークを利用する場合、わずか数百枚のイメージを使って再学習させることで、新しいオブジェクトを検出できるようになります。元の学習データと比べて非常に小規模なデータセットを使用して、事前学習済みのネットワークを効果的に微調整できます。データセットが非常に大規模な場合、転移学習は新しいネットワークが学習する場合に比べて速くならない可能性があります。

転移学習には以下の利点があります。

事前学習済みのネットワークの学習済みの特徴を新しい問題に転移
転移学習は新しいネットワークに学習させるよりも簡単で時間がかからない
学習時間とデータセットのサイズの削減
新しいネットワークをゼロから作成する方法を知る必要なしに深層学習を実行

対話形式での例については、ディープネットワークデザイナーを使用した転移学習を参照してください。

プログラムによる例については、新しいイメージを分類するための深層学習ネットワークの学習を参照してください。

事前学習済みのネットワークから抽出された特徴を使用した分類器の学習

特徴抽出では、学習に時間や手間をかけずに事前学習済みのネットワークの能力を活用できます。特徴抽出は、最も早く深層学習を使用できる方法と言えます。事前学習済みのネットワークから学習済みの特徴を抽出し、これらの特徴をサポートベクターマシン (SVM — Statistics and Machine Learning Toolbox™ が必要) などの分類器の学習に使用することができます。たとえば、alexnet を使用して学習させた SVM が、学習セットと検証セットで 90% を超える精度を達成できる場合、それ以上の精度を実現するために転移学習を使用して微調整することに労力に見合う価値はないかもしれません。小規模なデータセットで微調整を行うと、過適合のリスクも生じます。SVM の適用によって十分な精度を達成できない場合は、精度を向上させる微調整を行うだけの価値があります。

例については、事前学習済みのネットワークを使用したイメージの特徴の抽出を参照してください。

CPU、GPU、並列、およびクラウドでのビッグデータを使用した深層学習

ニューラルネットワークは本質的に並列アルゴリズムです。この並列性の利点を活かし、Parallel Computing Toolbox™ を使用して、学習をマルチコア CPU、グラフィックス処理装置 (GPU)、および複数の CPU と GPU を備えたコンピューターのクラスターに分散させることができます。

深いネットワークの学習は計算量が非常に多くなります。通常は、高性能の GPU を使用して学習時間を短縮できます。適切な GPU がない場合は、代わりに 1 つ以上の CPU コアで学習させることができます。畳み込みニューラルネットワークの学習は、1 つの GPU または CPU で、複数の GPU または CPU コアで、あるいはクラスターで並列に行えます。GPU または並列オプションを使用するには Parallel Computing Toolbox が必要です。

大きすぎてメモリに収まらないデータセットを使用して問題を解決するために、複数のコンピューターは必要ありません。関数 imageDatastore を使用して、マシンのクラスターを使用せずに、データのバッチを処理できます。ただし、利用できるクラスターがある場合は、コードをデータリポジトリに入れる方が、大量のデータをあちこちに移動させるよりも有効なことがあります。

深層学習のハードウェアおよびメモリ設定の詳細は、GPU および並列でのビッグデータを使用した深層学習を参照してください。