深層学習のカスタム学習ループ

深層学習の学習ループおよび損失関数のカスタマイズ

タスクに必要な学習オプションが関数 trainingOptions に用意されていない場合、または必要な損失関数をカスタム出力層がサポートしていない場合、カスタム学習ループを定義できます。層グラフを使用して作成できないネットワークの場合、カスタムネットワークを関数として定義できます。詳細については、カスタム学習ループ、損失関数、およびネットワークの定義を参照してください。

関数

すべて展開する

カスタム学習ループ

`dlnetwork`	カスタム学習ループ向けの深層学習ネットワーク
`forward`	学習用の深層学習ネットワーク出力の計算
`predict`	Compute deep learning network output for inference
`adamupdate`	Update parameters using adaptive moment estimation (Adam)
`rmspropupdate`	Update parameters using root mean squared propagation (RMSProp)
`sgdmupdate`	Update parameters using stochastic gradient descent with momentum (SGDM)
`dlupdate`	Update parameters using custom function
`minibatchqueue`	深層学習用のミニバッチの作成
`onehotencode`	one-hot ベクトルへのデータラベルの符号化
`onehotdecode`	クラスラベルへの確率ベクトルの復号化
`padsequences`	Pad or truncate sequence data to same length
`initialize`	Initialize learnable and state parameters of a `dlnetwork`
`resetState`	ニューラルネットワークの状態パラメーターのリセット

自動微分

`dlarray`	カスタム学習ループ用の深層学習配列
`dlgradient`	自動微分を使用したカスタム学習ループの勾配の計算
`dlfeval`	カスタム学習ループ用の深層学習モデルの評価
`dims`	`dlarray` の次元ラベル
`finddim`	指定されたラベルをもつ次元の検索
`stripdims`	`dlarray` データ形式の削除
`extractdata`	`dlarray` からのデータの抽出
`isdlarray`	Check if object is `dlarray`
`functionToLayerGraph`	Convert deep learning model function to a layer graph

深層学習の操作

`dlconv`	Deep learning convolution
`dltranspconv`	Deep learning transposed convolution
`lstm`	長短期記憶
`gru`	Gated recurrent unit
`embed`	Embed discrete data
`fullyconnect`	すべての重み付き入力データの加算とバイアスの適用
`dlode45`	Deep learning solution of nonstiff ordinary differential equation (ODE)
`relu`	正規化線形ユニット活性化の適用
`leakyrelu`	漏洩 (leaky) 正規化線形ユニット活性化の適用
`batchnorm`	Normalize data across all observations for each channel independently
`crosschannelnorm`	Cross channel square-normalize using local responses
`groupnorm`	Normalize data across grouped subsets of channels for each observation independently
`instancenorm`	Normalize across each channel for each observation independently
`layernorm`	Normalize data across all channels for each observation independently
`avgpool`	Pool data to average values over spatial dimensions
`maxpool`	Pool data to maximum value
`maxunpool`	最大プーリング演算の出力の逆プーリング
`softmax`	チャネル次元へのソフトマックス活性化の適用
`sigmoid`	シグモイド活性化の適用

深層学習の損失演算

`sigmoid`	シグモイド活性化の適用
`crossentropy`	Cross-entropy loss for classification tasks
`l1loss`	L₁ loss for regression tasks
`l2loss`	L₂ loss for regression tasks
`huber`	Huber loss for regression tasks
`mse`	半平均二乗誤差
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification

深層学習関数の高速化

`dlaccelerate`	Accelerate deep learning function for custom training loops
`AcceleratedFunction`	Accelerated deep learning function
`clearCache`	Clear accelerated deep learning function trace cache

トピック

カスタム学習ループ

MATLAB による深層学習モデルの学習
MATLAB^® で深層学習モデルを学習させる方法を学習する。
カスタム学習ループ、損失関数、およびネットワークの定義
自動微分を使用して深層学習の学習ループ、損失関数、およびネットワークを定義する方法を学びます。
カスタム学習ループを使用したネットワークの学習
この例では、カスタム学習率スケジュールで手書きの数字を分類するネットワークに学習させる方法を示します。
カスタム学習ループでの学習オプションの指定
カスタム学習ループで一般的な学習オプションを指定する方法を学びます。
カスタム学習ループのモデル損失関数の定義
カスタム学習ループのモデル損失関数を定義する方法を学ぶ。
カスタム学習ループでのバッチ正規化統計量の更新
この例では、カスタム学習ループでネットワークの状態を更新する方法を示します。
dlnetwork オブジェクトを使用した予測の実行
この例では、データをミニバッチに分割することにより、dlnetwork オブジェクトを使用して予測を行う方法を示します。
複数の出力をもつネットワークの学習
この例では、手書きの数字のラベルと回転角度の両方を予測する、複数の出力をもつ深層学習ネットワークに学習させる方法を説明します。
Classify Videos Using Deep Learning with Custom Training Loop
This example shows how to create a network for video classification by combining a pretrained image classification model and a sequence classification network.
Train Image Classification Network Robust to Adversarial Examples
This example shows how to train a neural network that is robust to adversarial examples using fast gradient sign method (FGSM) adversarial training.
Train Neural ODE Network
This example shows how to train an augmented neural ordinary differential equation (ODE) network.
Train Robust Deep Learning Network with Jacobian Regularization
This example shows how to train a neural network that is robust to adversarial examples using a Jacobian regularization scheme [1].
Solve Ordinary Differential Equation Using Neural Network
This example shows how to solve an ordinary differential equation (ODE) using a neural network.
予測用の多出力ネットワークの組み立て
この例では、予測用の複数の出力ネットワークを組み立てる方法を説明します。
Run Custom Training Loops on a GPU and in Parallel
Speed up custom training loops by running on a GPU, in parallel using multiple GPUs, or on a cluster.

モデル関数

モデル関数を使用したネットワークの学習
この例では、層グラフまたは dlnetwork ではなく関数を使用して深層学習ネットワークを作成し、学習させる方法を説明します。
モデル関数を使用したバッチ正規化統計量の更新
この例では、関数として定義されたネットワークにおいて、ネットワークの状態を更新する方法を示します。
モデル関数を使用した予測の実行
この例では、データをミニバッチに分割することにより、モデル関数を使用して予測を行う方法を示します。
モデル関数の学習可能パラメーターの初期化
モデル関数を使用して、カスタム学習ループの学習可能なパラメーターを初期化する方法を学ぶ。

自動微分

dlarray をサポートする関数の一覧
dlarray オブジェクトをサポートする関数の一覧を表示します。
自動微分の背景
自動微分の機能を学びます。
Deep Learning Toolbox での自動微分の使用
深層学習での自動微分の使用方法を示します。

深層学習関数の高速化

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
高速化された深層学習関数の出力のチェック
この例では、高速化された関数の出力が基になる関数の出力と一致するかどうかをチェックする方法を説明します。
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.

注目の例

敵対的生成ネットワーク (GAN) の学習

この例では、敵対的生成ネットワークに学習させてイメージを生成する方法を説明します。

深層学習のカスタム学習ループ

関数

カスタム学習ループ

自動微分

深層学習の操作

深層学習の損失演算

深層学習関数の高速化

トピック

カスタム学習ループ

モデル関数

自動微分

深層学習関数の高速化

注目の例

敵対的生成ネットワーク (GAN) の学習

条件付き敵対的生成ネットワーク (CGAN) の学習

Wasserstein GAN with Gradient Penalty (WGAN-GP) の学習

高速スタイル転送ネットワークの学習

カスタム学習ループを使用したネットワークの学習

モデル関数を使用したネットワークの学習

次元削減のためのシャム ネットワークの学習

シャム ネットワークの学習とイメージの比較

アテンションを使用したイメージ キャプションの生成

深層学習を使用した複数ラベルをもつテキストの分類

アテンションを使用した sequence-to-sequence 変換

カスタム学習ループを使用したネットワークの並列学習

変分自己符号化器 (VAE) の学習によるイメージ生成

スナップショット アンサンブルのための周期的な学習率を使用したネットワークの学習

深層学習を使用した偏微分方程式の求解

LBFGS 法と深層学習を使用した偏微分方程式の求解

Train Neural ODE Network

Dynamical System Modeling Using Neural ODE

Node Classification Using Graph Convolutional Network

Multilabel Graph Classification Using Graph Attention Networks

Train Network Using Federated Learning

次元削減のためのシャムネットワークの学習

シャムネットワークの学習とイメージの比較

アテンションを使用したイメージキャプションの生成

スナップショットアンサンブルのための周期的な学習率を使用したネットワークの学習