カスタム学習ループ

深層学習の学習ループおよび損失関数のカスタマイズ

タスクに必要な学習オプションが関数 trainingOptions に用意されていない場合、または必要な損失関数をカスタム出力層がサポートしていない場合、カスタム学習ループを定義できます。層のネットワークとして指定できないモデルの場合は、モデルを関数として定義できます。詳細については、カスタム学習ループ、損失関数、およびネットワークの定義を参照してください。

関数

すべて展開する

ネットワークの構築

`dlnetwork`	深層学習ニューラルネットワーク
`imagePretrainedNetwork`	イメージ用の事前学習済みニューラルネットワーク (R2024a 以降)
`resnetNetwork`	2-D residual neural network (R2024a 以降)
`resnet3dNetwork`	3-D residual neural network (R2024a 以降)
`addLayers`	ニューラルネットワークへの層の追加
`removeLayers`	ニューラルネットワークからの層の削除
`replaceLayer`	ニューラルネットワークの層の置き換え
`connectLayers`	ニューラルネットワークの層の結合
`disconnectLayers`	ニューラルネットワークの層の切り離し
`addInputLayer`	Add input layer to network (R2022b 以降)
`initialize`	`dlnetwork` の学習可能なパラメーターと状態パラメーターの初期化 (R2021a 以降)
`networkDataLayout`	Deep learning network data layout for learnable parameter initialization (R2022b 以降)
`setL2Factor`	層の学習可能なパラメーターの L₂ 正則化係数の設定
`getL2Factor`	層の学習可能なパラメーターの L₂ 正則化係数の取得
`setLearnRateFactor`	層の学習可能なパラメーターの学習率係数を設定します。
`getLearnRateFactor`	層の学習可能なパラメーターの学習率係数の取得

ネットワーク情報

`plot`	ニューラルネットワークアーキテクチャのプロット
`summary`	ネットワークの概要の出力 (R2022b 以降)
`analyzeNetwork`	深層学習ネットワークアーキテクチャの解析
`checkLayer`	Check validity of custom or function layer
`isequal`	Check equality of neural networks (R2021a 以降)
`isequaln`	Check equality of neural networks ignoring `NaN` values (R2021a 以降)

カスタム学習ループ

`forward`	学習用の深層学習ネットワーク出力の計算
`predict`	推論用の深層学習ネットワーク出力の計算
`adamupdate`	適応モーメント推定 (Adam) を使用してパラメーターを更新する
`rmspropupdate`	平方根平均二乗伝播 (RMSProp) を使用してパラメーターを更新する
`sgdmupdate`	モーメンタム項付き確率的勾配降下法 (SGDM) を使用してパラメーターを更新する
`lbfgsupdate`	Update parameters using limited-memory BFGS (L-BFGS) (R2023a 以降)
`lbfgsState`	State of limited-memory BFGS (L-BFGS) solver (R2023a 以降)
`dlupdate`	Update parameters using custom function
`trainingProgressMonitor`	深層学習カスタム学習ループの学習進行状況の監視およびプロット (R2022b 以降)
`updateInfo`	Update information values for custom training loops (R2022b 以降)
`recordMetrics`	Record metric values for custom training loops (R2022b 以降)
`groupSubPlot`	Group metrics in training plot (R2022b 以降)
`deep.gpu.deterministicAlgorithms`	Set determinism of deep learning operations on the GPU to get reproducible results (R2024b 以降)

データの前処理

`padsequences`	Pad or truncate sequence data to same length (R2021a 以降)
`minibatchqueue`	深層学習用のミニバッチの作成 (R2020b 以降)
`onehotencode`	one-hot ベクトルへのデータラベルの符号化 (R2020b 以降)
`onehotdecode`	クラスラベルへの確率ベクトルの復号化 (R2020b 以降)
`next`	ミニバッチキューからの次のデータミニバッチの取得 (R2020b 以降)
`reset`	Reset minibatchqueue to start of data (R2020b 以降)
`shuffle`	Shuffle data in minibatchqueue (R2020b 以降)
`hasdata`	Determine if minibatchqueue can return mini-batch (R2020b 以降)
`partition`	Partition minibatchqueue (R2020b 以降)

自動微分

`dlarray`	カスタマイズ用の深層学習配列
`dlgradient`	自動微分を使用したカスタム学習ループの勾配の計算
`dljacobian`	Jacobian matrix deep learning operation (R2024b 以降)
`dldivergence`	Divergence of deep learning data (R2024b 以降)
`dllaplacian`	Laplacian of deep learning data (R2024b 以降)
`dlfeval`	カスタム学習ループ用の深層学習モデルの評価
`dims`	`dlarray` オブジェクトのデータ形式
`finddim`	指定されたラベルをもつ次元の検索
`stripdims`	`dlarray` データ形式の削除
`extractdata`	`dlarray` からのデータの抽出
`isdlarray`	Check if object is `dlarray` (R2020b 以降)

損失演算

`crossentropy`	分類タスク用のクロスエントロピー損失
`indexcrossentropy`	Index cross-entropy loss for classification tasks (R2024b 以降)
`l1loss`	L₁ loss for regression tasks (R2021b 以降)
`l2loss`	L₂ loss for regression tasks (R2021b 以降)
`huber`	回帰タスクの Huber 損失 (R2021a 以降)
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification (R2021a 以降)
`mse`	半平均二乗誤差

関数の高速化

`dlaccelerate`	Accelerate deep learning function for custom training loops (R2021a 以降)
`AcceleratedFunction`	Accelerated deep learning function (R2021a 以降)
`clearCache`	Clear accelerated deep learning function trace cache (R2021a 以降)

トピック

カスタム学習ループ

MATLAB による深層学習モデルの学習
MATLAB^® で深層学習モデルを学習させる方法を学習する。
カスタム学習ループ、損失関数、およびネットワークの定義
深層学習の学習ループ、損失関数、およびモデルを定義してカスタマイズする方法を学ぶ。
カスタム学習ループを使用したネットワークの学習
この例では、カスタム学習率スケジュールで手書きの数字を分類するネットワークに学習させる方法を示します。
Train Sequence Classification Network Using Custom Training Loop
This example shows how to train a network that classifies sequences with a custom learning rate schedule.
カスタム学習ループでの学習オプションの指定
カスタム学習ループで一般的な学習オプションを指定する方法を学びます。
カスタム学習ループのモデル損失関数の定義
カスタム学習ループのモデル損失関数を定義する方法を学ぶ。
カスタム学習ループでのバッチ正規化統計量の更新
この例では、カスタム学習ループでネットワークの状態を更新する方法を示します。
dlnetwork オブジェクトを使用した予測の実行
この例では、ミニバッチをループ処理することにより、dlnetwork オブジェクトを使用して予測を行う方法を示します。
Monitor Custom Training Loop Progress
Track and plot custom training loop progress.
多入力および多出力ネットワーク
複数の入力または複数の出力がある深層学習ネットワークの定義と学習を行う方法を学びます。
複数の出力をもつネットワークの学習
この例では、手書きの数字のラベルと回転角度の両方を予測する、複数の出力をもつ深層学習ネットワークに学習させる方法を説明します。
Classify Videos Using Deep Learning with Custom Training Loop
This example shows how to create a network for video classification by combining a pretrained image classification model and a sequence classification network.
Train Image Classification Network Robust to Adversarial Examples
This example shows how to train a neural network that is robust to adversarial examples using fast gradient sign method (FGSM) adversarial training.
Train Robust Deep Learning Network with Jacobian Regularization
Train a neural network that is robust to adversarial examples using a Jacobian regularization scheme.
ニューラルネットワークを使用した常微分方程式の求解
この例では、ニューラルネットワークを使用して常微分方程式 (ODE) を解く方法を示します。
カスタム学習ループを使用したネットワークの並列学習
この例では、ネットワークに並列学習させるためのカスタム学習ループを設定する方法を説明します。
Run Custom Training Loops on a GPU and in Parallel
Speed up custom training loops by running on a GPU, in parallel using multiple GPUs, or on a cluster.
Speed Up Deep Neural Network Training
Learn how to accelerate deep neural network training.

自動微分

Deep Learning Data Formats
Learn about deep learning data formats.
dlarray をサポートする関数の一覧
dlarray オブジェクトをサポートする関数の一覧を表示します。
自動微分の背景
自動微分の機能を学びます。
Deep Learning Toolbox での自動微分の使用
深層学習での自動微分の使用方法を示します。

深層学習関数の高速化

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
高速化された深層学習関数の出力のチェック
この例では、高速化された関数の出力が基になる関数の出力と一致するかどうかをチェックする方法を説明します。
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.

注目の例

敵対的生成ネットワーク (GAN) の学習

この例では、敵対的生成ネットワークに学習させてイメージを生成する方法を説明します。

ライブスクリプトを開く

条件付き敵対的生成ネットワーク (CGAN) の学習

この例では、条件付き敵対的生成ネットワークに学習させてイメージを生成する方法を説明します。

ライブスクリプトを開く

Wasserstein GAN with Gradient Penalty (WGAN-GP) の学習

この例では、Wasserstein generative adversarial network with a gradient penalty (WGAN-GP) に学習させてイメージを生成する方法を説明します。

ライブスクリプトを開く

拡散を使用したイメージの生成

この例では、拡散モデルを使用して新しいイメージを生成する方法を示します。

R2023b 以降
ライブスクリプトを開く

高速スタイル転送ネットワークの学習

この例では、あるイメージのスタイルを転送して第 2 のイメージにするネットワークの学習方法を示します。これは、[1] で定義されるアーキテクチャに基づいています。

ライブスクリプトを開く

Train a Twin Network for Dimensionality Reduction

Train a twin neural network with shared weights to compare handwritten digits using dimensionality reduction.

ライブスクリプトを開く

Train a Twin Neural Network to Compare Images

Train a twin neural network with shared weights to identify similar images of handwritten characters.

ライブスクリプトを開く

アテンションを使用したイメージキャプションの生成

この例では、アテンションを使用したイメージキャプション生成のために深層学習モデルを学習させる方法を説明します。

ライブスクリプトを開く

アテンションを使用した sequence-to-sequence 変換

この例では、アテンションを使用した再帰型 sequence-to-sequence 符号化器-復号化器モデルを用いて数字の文字列をローマ数字に変換する方法を説明します。

ライブスクリプトを開く

カスタム学習ループを使用したネットワークの並列学習

この例では、ネットワークに並列学習させるためのカスタム学習ループを設定する方法を説明します。

ライブスクリプトを開く

変分自己符号化器 (VAE) の学習によるイメージ生成

この例では、深層学習変分自己符号化器 (VAE) に学習させ、イメージを生成する方法を説明します。

ライブスクリプトを開く

スナップショットアンサンブルのための周期的な学習率を使用したネットワークの学習

この例では、テスト精度の向上のために周期的な学習率スケジュールとスナップショットのアンサンブルを使用して、オブジェクトのイメージを分類するようにネットワークに学習させる方法を示します。この例では、学習率スケジュールに余弦関数を使用し、学習中にネットワークのスナップショットを取得してモデルアンサンブルを作成し、L2 ノルム正則化 (重み減衰) を学習損失に追加する方法を学習します。