操作

カスタム深層学習関数の開発

ほとんどのタスクでは、組み込み層を使用できます。目的のタスクに必要な組み込み層が用意されていない場合、独自のカスタム層を定義できます。学習可能なパラメーターと状態パラメーターを使用してカスタム層を定義できます。カスタム層を定義した後、その層の有効性、GPU 互換性、定義した勾配の出力の正しさをチェックできます。詳細については、カスタム深層学習層の定義を参照してください。サポートされている層の一覧については、深層学習層の一覧を参照してください。

タスクに必要な学習オプションが関数 trainingOptions に用意されていない場合、または関数 trainnet がサポートしていない損失関数がある場合は、カスタム学習ループを定義できます。層のネットワークとして指定できないモデルの場合は、モデルを関数として定義できます。詳細については、カスタム学習ループ、損失関数、およびネットワークの定義を参照してください。

深層学習の操作を使用して、カスタム層、学習ループ、およびモデル関数のための MATLAB^® コードを開発します。

関数

すべて展開する

自動微分

`dlarray`	カスタマイズ用の深層学習配列
`dims`	`dlarray` の次元ラベル
`finddim`	指定されたラベルをもつ次元の検索
`stripdims`	`dlarray` データ形式の削除
`extractdata`	`dlarray` からのデータの抽出
`isdlarray`	Check if object is `dlarray` (R2020b 以降)

深層学習の操作

`dlconv`	Deep learning convolution
`dltranspconv`	Deep learning transposed convolution
`lstm`	長短期記憶
`gru`	ゲート付き回帰型ユニット (R2020a 以降)
`attention`	Dot-product attention (R2022b 以降)
`embed`	Embed discrete data (R2020b 以降)
`fullyconnect`	すべての重み付き入力データの加算とバイアスの適用
`dlode45`	Deep learning solution of nonstiff ordinary differential equation (ODE) (R2021b 以降)
`batchnorm`	Normalize data across all observations for each channel independently
`crosschannelnorm`	Cross channel square-normalize using local responses (R2020a 以降)
`groupnorm`	Normalize data across grouped subsets of channels for each observation independently (R2020b 以降)
`instancenorm`	Normalize across each channel for each observation independently (R2021a 以降)
`layernorm`	Normalize data across all channels for each observation independently (R2021a 以降)
`avgpool`	Pool data to average values over spatial dimensions
`maxpool`	Pool data to maximum value
`maxunpool`	最大プーリング演算の出力の逆プーリング

活性化

`relu`	正規化線形ユニット活性化の適用
`leakyrelu`	漏洩 (leaky) 正規化線形ユニット活性化の適用
`gelu`	Apply Gaussian error linear unit (GELU) activation (R2022b 以降)
`softmax`	チャネル次元へのソフトマックス活性化の適用
`sigmoid`	シグモイド活性化の適用

損失演算

`crossentropy`	分類タスク用のクロスエントロピー損失
`l1loss`	L₁ loss for regression tasks (R2021b 以降)
`l2loss`	L₂ loss for regression tasks (R2021b 以降)
`huber`	回帰タスクの Huber 損失 (R2021a 以降)
`mse`	半平均二乗誤差
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification (R2021a 以降)

関数の高速化

`dlaccelerate`	Accelerate deep learning function for custom training loops (R2021a 以降)
`AcceleratedFunction`	Accelerated deep learning function (R2021a 以降)
`clearCache`	Clear accelerated deep learning function trace cache (R2021a 以降)

トピック

自動微分

dlarray をサポートする関数の一覧
dlarray オブジェクトをサポートする関数の一覧を表示します。
自動微分の背景
自動微分の機能を学びます。
Deep Learning Toolbox での自動微分の使用
深層学習での自動微分の使用方法を示します。
Define Custom Deep Learning Operations
Learn how to define custom deep learning operation.
Specify Custom Operation Backward Function
This example shows how to define the SReLU operation as a differentiable function and specify a custom backward function.
Train Model Using Custom Backward Function
This example shows how to train a deep learning model that contains an operation with a custom backward function.

モデル関数

モデル関数を使用したネットワークの学習
この例では、層グラフまたは dlnetwork ではなく関数を使用して深層学習ネットワークを作成し、学習させる方法を説明します。
モデル関数を使用したバッチ正規化統計量の更新
この例では、関数として定義されたネットワークにおいて、ネットワークの状態を更新する方法を示します。
モデル関数を使用した予測の実行
この例では、データをミニバッチに分割することにより、モデル関数を使用して予測を行う方法を示します。
モデル関数の学習可能パラメーターの初期化
モデル関数を使用して、カスタム学習ループの学習可能なパラメーターを初期化する方法を学ぶ。

深層学習関数の高速化

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
高速化された深層学習関数の出力のチェック
この例では、高速化された関数の出力が基になる関数の出力と一致するかどうかをチェックする方法を説明します。
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.