深層学習のカスタム学習ループ

深層学習の学習ループおよび損失関数のカスタマイズ

タスクに必要な学習オプションが関数 trainingOptions に用意されていない場合、または必要な損失関数をカスタム出力層がサポートしていない場合、カスタム学習ループを定義できます。層グラフを使用して作成できないネットワークの場合、カスタムネットワークを関数として定義できます。詳細については、カスタム学習ループ、損失関数、およびネットワークの定義を参照してください。

関数

すべて展開する

カスタム学習ループ

`dlnetwork`	Deep learning network for custom training loops
`forward`	Compute deep learning network output for training
`predict`	Compute deep learning network output for inference
`adamupdate`	Update parameters using adaptive moment estimation (Adam)
`rmspropupdate`	Update parameters using root mean squared propagation (RMSProp)
`sgdmupdate`	Update parameters using stochastic gradient descent with momentum (SGDM)
`dlupdate`	Update parameters using custom function
`minibatchqueue`	Create mini-batches for deep learning
`onehotencode`	Encode data labels into one-hot vectors
`onehotdecode`	Decode probability vectors into class labels
`padsequences`	Pad or truncate sequence data to same length
`initialize`	Initialize learnable and state parameters of a `dlnetwork`

自動微分

`dlarray`	Deep learning array for custom training loops
`dlgradient`	Compute gradients for custom training loops using automatic differentiation
`dlfeval`	Evaluate deep learning model for custom training loops
`dims`	`dlarray` の次元ラベル
`finddim`	指定されたラベルをもつ次元の検索
`stripdims`	`dlarray` ラベルの削除
`extractdata`	`dlarray` からのデータの抽出
`isdlarray`	Determine whether input is `dlarray`
`functionToLayerGraph`	Convert deep learning model function to a layer graph

深層学習の操作

`dlconv`	Deep learning convolution
`dltranspconv`	Deep learning transposed convolution
`lstm`	Long short-term memory
`gru`	Gated recurrent unit
`embed`	Embed discrete data
`fullyconnect`	Sum all weighted input data and apply a bias
`relu`	Apply rectified linear unit activation
`leakyrelu`	漏洩 (leaky) 正規化線形ユニット活性化の適用
`batchnorm`	Normalize data across all observations for each channel independently
`crosschannelnorm`	Cross channel square-normalize using local responses
`groupnorm`	Normalize data across grouped subsets of channels for each observation independently
`instancenorm`	Normalize across each channel for each observation independently
`layernorm`	Normalize data across all channels for each observation independently
`avgpool`	Pool data to average values over spatial dimensions
`maxpool`	Pool data to maximum value
`maxunpool`	最大プーリング演算の出力の逆プーリング
`softmax`	Apply softmax activation to channel dimension
`sigmoid`	シグモイド活性化の適用
`crossentropy`	Cross-entropy loss for classification tasks
`huber`	Huber loss for regression tasks
`mse`	Half mean squared error
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification

深層学習関数の高速化

`dlaccelerate`	Accelerate deep learning function for custom training loops
`AcceleratedFunction`	Accelerated deep learning function
`clearCache`	Clear accelerated deep learning function trace cache

トピック

カスタム学習ループ

MATLAB による深層学習モデルの学習

MATLAB^® で深層学習モデルを学習させる方法を学習する。

カスタム学習ループ、損失関数、およびネットワークの定義

自動微分を使用して深層学習の学習ループ、損失関数、およびネットワークを定義する方法を学びます。

カスタム学習ループを使用したネットワークの学習

この例では、カスタム学習率スケジュールで手書きの数字を分類するネットワークに学習させる方法を示します。

カスタム学習ループでの学習オプションの指定

カスタム学習ループで一般的な学習オプションを指定する方法を学びます。

カスタム学習ループのモデル勾配関数の定義

カスタム学習ループのモデル勾配関数を定義する方法を学ぶ。

カスタム学習ループでのバッチ正規化統計量の更新

この例では、カスタム学習ループでネットワークの状態を更新する方法を示します。

dlnetwork オブジェクトを使用した予測の実行

この例では、データをミニバッチに分割することにより、dlnetwork オブジェクトを使用して予測を行う方法を示します。

イメージデータおよび特徴データにおけるネットワークの学習

この例では、イメージと特徴の両方の入力データを使用して、手書きの数字を分類するネットワークの学習を行う方法について説明します。

複数の出力をもつネットワークの学習

この例では、手書きの数字のラベルと回転角度の両方を予測する、複数の出力をもつ深層学習ネットワークに学習させる方法を説明します。

Classify Videos Using Deep Learning with Custom Training Loop

This example shows how to create a network for video classification by combining a pretrained image classification model and a sequence classification network.

Train Image Classification Network Robust to Adversarial Examples

This example shows how to train a neural network that is robust to adversarial examples using fast gradient sign method (FGSM) adversarial training.

Train Robust Deep Learning Network with Jacobian Regularization

This example shows how to train a neural network that is robust to adversarial examples using a Jacobian regularization scheme [1].