カスタム学習ループ

深層学習の学習ループおよび損失関数のカスタマイズ

タスクに必要な学習オプションが関数 trainingOptions に用意されていない場合、または必要な損失関数をカスタム出力層がサポートしていない場合、カスタム学習ループを定義できます。層グラフによってサポートされていないモデルの場合、カスタムモデルを関数として定義できます。詳細については、カスタム学習ループ、損失関数、およびネットワークの定義を参照してください。

関数

すべて展開する

カスタムネットワーク

`dlnetwork`	カスタム学習ループ向けの深層学習ネットワーク (R2019b 以降)
`resetState`	ニューラルネットワークの状態パラメーターのリセット
`plot`	ニューラルネットワークアーキテクチャのプロット
`addInputLayer`	Add input layer to network (R2022b 以降)
`addLayers`	層グラフまたはネットワークへの層の追加
`removeLayers`	層グラフまたはネットワークからの層の削除
`connectLayers`	層グラフまたはネットワークの層の結合
`disconnectLayers`	層グラフまたはネットワークの層の切り離し
`replaceLayer`	層グラフまたはネットワークの層の置き換え
`summary`	ネットワークの概要の出力 (R2022b 以降)
`initialize`	`dlnetwork` の学習可能なパラメーターと状態パラメーターの初期化 (R2021a 以降)
`networkDataLayout`	Deep learning network data layout for learnable parameter initialization (R2022b 以降)
`layerGraph`	深層学習用のネットワーク層のグラフ
`setL2Factor`	層の学習可能なパラメーターの L2 正則化係数の設定
`getL2Factor`	層の学習可能なパラメーターの L2 正則化係数の取得
`setLearnRateFactor`	層の学習可能なパラメーターの学習率係数を設定します。
`getLearnRateFactor`	層の学習可能なパラメーターの学習率係数の取得

カスタム学習ループ

`forward`	学習用の深層学習ネットワーク出力の計算 (R2019b 以降)
`predict`	推論用の深層学習ネットワーク出力の計算 (R2019b 以降)
`adamupdate`	適応モーメント推定 (Adam) を使用してパラメーターを更新する (R2019b 以降)
`rmspropupdate`	平方根平均二乗伝播 (RMSProp) を使用してパラメーターを更新する (R2019b 以降)
`sgdmupdate`	モーメンタム項付き確率的勾配降下法 (SGDM) を使用してパラメーターを更新する (R2019b 以降)
`lbfgsupdate`	Update parameters using limited-memory BFGS (L-BFGS) (R2023a 以降)
`lbfgsState`	State of limited-memory BFGS (L-BFGS) solver (R2023a 以降)
`dlupdate`	Update parameters using custom function (R2019b 以降)
`trainingProgressMonitor`	Monitor and plot training progress for deep learning custom training loops (R2022b 以降)
`updateInfo`	Update information values for custom training loops (R2022b 以降)
`recordMetrics`	Record metric values for custom training loops (R2022b 以降)
`groupSubPlot`	Group metrics in training plot (R2022b 以降)

データの前処理

`padsequences`	Pad or truncate sequence data to same length (R2021a 以降)
`minibatchqueue`	深層学習用のミニバッチの作成 (R2020b 以降)
`onehotencode`	one-hot ベクトルへのデータラベルの符号化 (R2020b 以降)
`onehotdecode`	クラスラベルへの確率ベクトルの復号化 (R2020b 以降)
`next`	ミニバッチキューからの次のデータミニバッチの取得 (R2020b 以降)
`reset`	Reset minibatchqueue to start of data (R2020b 以降)
`shuffle`	Shuffle data in minibatchqueue (R2020b 以降)
`hasdata`	Determine if minibatchqueue can return mini-batch (R2020b 以降)
`partition`	Partition minibatchqueue (R2020b 以降)

自動微分

`dlarray`	カスタマイズ用の深層学習配列 (R2019b 以降)
`dlgradient`	自動微分を使用したカスタム学習ループの勾配の計算 (R2019b 以降)
`dlfeval`	カスタム学習ループ用の深層学習モデルの評価 (R2019b 以降)
`dims`	`dlarray` の次元ラベル (R2019b 以降)
`finddim`	指定されたラベルをもつ次元の検索 (R2019b 以降)
`stripdims`	`dlarray` データ形式の削除 (R2019b 以降)
`extractdata`	`dlarray` からのデータの抽出 (R2019b 以降)
`isdlarray`	Check if object is `dlarray` (R2020b 以降)

損失演算

`crossentropy`	分類タスク用の交差エントロピー損失 (R2019b 以降)
`l1loss`	L₁ loss for regression tasks (R2021b 以降)
`l2loss`	L₂ loss for regression tasks (R2021b 以降)
`huber`	回帰タスクの Huber 損失 (R2021a 以降)
`mse`	半平均二乗誤差 (R2019b 以降)
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification (R2021a 以降)

関数の高速化

`dlaccelerate`	Accelerate deep learning function for custom training loops (R2021a 以降)
`AcceleratedFunction`	Accelerated deep learning function (R2021a 以降)
`clearCache`	Clear accelerated deep learning function trace cache (R2021a 以降)

トピック

カスタム学習ループ

MATLAB による深層学習モデルの学習
MATLAB^® で深層学習モデルを学習させる方法を学習する。
カスタム学習ループ、損失関数、およびネットワークの定義
自動微分を使用して深層学習の学習ループ、損失関数、およびネットワークを定義する方法を学びます。
カスタム学習ループを使用したネットワークの学習
この例では、カスタム学習率スケジュールで手書きの数字を分類するネットワークに学習させる方法を示します。
Train Sequence Classification Network Using Custom Training Loop
This example shows how to train a network that classifies sequences with a custom learning rate schedule.
カスタム学習ループでの学習オプションの指定
カスタム学習ループで一般的な学習オプションを指定する方法を学びます。
カスタム学習ループのモデル損失関数の定義
カスタム学習ループのモデル損失関数を定義する方法を学ぶ。
カスタム学習ループでのバッチ正規化統計量の更新
この例では、カスタム学習ループでネットワークの状態を更新する方法を示します。
dlnetwork オブジェクトを使用した予測の実行
この例では、データをミニバッチに分割することにより、dlnetwork オブジェクトを使用して予測を行う方法を示します。
Monitor Custom Training Loop Progress
Track and plot custom training loop progress.
多入力および多出力ネットワーク
複数の入力または複数の出力がある深層学習ネットワークの定義と学習を行う方法を学びます。
複数の出力をもつネットワークの学習
この例では、手書きの数字のラベルと回転角度の両方を予測する、複数の出力をもつ深層学習ネットワークに学習させる方法を説明します。
Classify Videos Using Deep Learning with Custom Training Loop
This example shows how to create a network for video classification by combining a pretrained image classification model and a sequence classification network.
Train Image Classification Network Robust to Adversarial Examples
This example shows how to train a neural network that is robust to adversarial examples using fast gradient sign method (FGSM) adversarial training.
Train Robust Deep Learning Network with Jacobian Regularization
Train a neural network that is robust to adversarial examples using a Jacobian regularization scheme.
ニューラルネットワークを使用した常微分方程式の求解
この例では、ニューラルネットワークを使用して常微分方程式 (ODE) を解く方法を示します。
予測用の多出力ネットワークの組み立て
この例では、予測用の複数の出力ネットワークを組み立てる方法を説明します。
カスタム学習ループを使用したネットワークの並列学習
この例では、ネットワークに並列学習させるためのカスタム学習ループを設定する方法を説明します。
Run Custom Training Loops on a GPU and in Parallel
Speed up custom training loops by running on a GPU, in parallel using multiple GPUs, or on a cluster.

自動微分

Deep Learning Data Formats
Learn about deep learning data formats.
dlarray をサポートする関数の一覧
dlarray オブジェクトをサポートする関数の一覧を表示します。
自動微分の背景
自動微分の機能を学びます。
Deep Learning Toolbox での自動微分の使用
深層学習での自動微分の使用方法を示します。

深層学習関数の高速化

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
高速化された深層学習関数の出力のチェック
この例では、高速化された関数の出力が基になる関数の出力と一致するかどうかをチェックする方法を説明します。
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.

注目の例

敵対的生成ネットワーク (GAN) の学習

この例では、敵対的生成ネットワークに学習させてイメージを生成する方法を説明します。

カスタム学習ループ

関数

カスタム ネットワーク

カスタム学習ループ

データの前処理

自動微分

損失演算

関数の高速化

トピック

カスタム学習ループ

自動微分

深層学習関数の高速化

関連情報

注目の例

敵対的生成ネットワーク (GAN) の学習

条件付き敵対的生成ネットワーク (CGAN) の学習

Wasserstein GAN with Gradient Penalty (WGAN-GP) の学習

Generate Images Using Diffusion

高速スタイル転送ネットワークの学習

Train a Twin Network for Dimensionality Reduction

Train a Twin Neural Network to Compare Images

アテンションを使用したイメージ キャプションの生成

アテンションを使用した sequence-to-sequence 変換

カスタム学習ループを使用したネットワークの並列学習

変分自己符号化器 (VAE) の学習によるイメージ生成

スナップショット アンサンブルのための周期的な学習率を使用したネットワークの学習

深層学習を使用した偏微分方程式の求解

L-BFGS 法と深層学習を使用した偏微分方程式の求解

ニューラル ODE を使用した動的システムのモデル化

Reduced Order Modeling Using Continuous-Time Echo State Network

グラフ畳み込みネットワークを使用したノード分類

Multilabel Graph Classification Using Graph Attention Networks

連合学習を使用したネットワークの学習

カスタムネットワーク

アテンションを使用したイメージキャプションの生成

スナップショットアンサンブルのための周期的な学習率を使用したネットワークの学習