TrainingOptionsLM

レーベンバーグ・マルカート (LM) オプティマイザーの学習オプション

R2024b 以降

説明

TrainingOptionsLM オブジェクトを使用して、レーベンバーグ・マルカート (LM) オプティマイザーの学習オプションを設定します。

LM アルゴリズム[1]は、勾配降下法とガウス・ニュートン法を補完するもので、小規模なニューラルネットワークのロバスト性を向上させます。ヤコビ外積を使用して 2 階微分を近似します。LM アルゴリズムは、学習可能なパラメーターの数が少なく、データセットを 1 つのバッチで処理できる回帰ネットワークに使用します。

作成

trainingOptions 関数を使用し、最初の入力引数として "lm" を指定し、TrainingOptionsLM オブジェクトを作成します。

プロパティ

すべて展開する

LM

`MaxIterations` — 最大反復回数
`1000` (既定値) | 正の整数

学習に使用する最大反復回数。正の整数として指定します。

LM ソルバーは全バッチソルバーです。これは、学習セット全体を 1 回の反復で処理することを意味します。

`InitialDampingFactor` — 初期減衰係数
`0.001` (既定値) | 正のスカラー

初期減衰係数。正のスカラーとして指定します。

`MaxDampingFactor` — 最大減衰係数
`1e10` (既定値) | 正のスカラー

最大減衰係数。正のスカラーとして指定します。

`DampingIncreaseFactor` — 減衰係数を増加させる係数
`10` (既定値) | 1 より大きい正のスカラー

減衰係数を増加させる係数。1 より大きい正のスカラーとして指定します。

`DampingDecreaseFactor` — 減衰係数を減少させる係数
`0.1` (既定値) | 1 未満の正のスカラー

減衰係数を減少させる係数。1 未満の正のスカラーとして指定します。

`GradientTolerance` — 相対勾配の許容値
`1e-5` (既定値) | 正のスカラー | `0` (R2025a 以降)

相対勾配の許容値。正のスカラーとして指定します。

相対勾配の許容誤差。次のいずれかの値として指定します。

正のスカラー — 相対勾配が指定した値以下になると、学習を停止します。
0 (R2025a 以降) — 相対勾配に基づいて学習を停止しません。

`StepTolerance` — ステップサイズの許容値
`1e-5` (既定値) | 正のスカラー | `0` (R2025a 以降)

ステップサイズの許容誤差。次のいずれかの値として指定します。

正のスカラー — アルゴリズムの実行するステップが指定された値以下になると、学習を停止します。
0 (R2025a 以降) — ステップサイズに基づいて学習を停止しません。

データレイアウト

`CategoricalInputEncoding` — categorical 入力の符号化
`"integer"` (既定値) | `"one-hot"`

R2025a 以降

categorical 入力の符号化。次のいずれかの値として指定します。

"integer" — categorical 入力を整数値に変換します。この場合、ネットワークは categorical 入力ごとに 1 つの入力チャネルをもたなければなりません。
"one-hot" — categorical 入力を one-hot 符号化されたベクトルに変換します。この場合、ネットワークは categorical 入力ごとに numCategories 個のチャネルをもたなければなりません。ここで、numCategories は対応する categorical 入力のカテゴリの数です。

`CategoricalTargetEncoding` — categorical ターゲットの符号化
`"auto"` (既定値) | `"integer"` | `"one-hot"`

R2025a 以降

categorical ターゲットの符号化。次のいずれかの値として指定します。

"auto" — "index-crossentropy" 損失関数を使用して学習させる場合は、categorical ターゲットを整数値に変換します。それ以外の場合は、categorical ターゲットを one-hot 符号化されたベクトルに変換します。
"integer" — categorical ターゲットを整数値に変換し、整数に符号化された値を損失関数とメトリクス関数に渡します。
"one-hot" — categorical ターゲットを one-hot 符号化されたベクトルに変換し、one-hot 符号化された値を損失関数とメトリクス関数に渡します。

`InputDataFormats` — 入力データの次元の説明
`"auto"` (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

入力データの次元の説明。string 配列、文字ベクトル、または文字ベクトルの cell 配列として指定します。

InputDataFormats が "auto" の場合、ソフトウェアは、ネットワークの入力で必要とされる形式を使用します。そうでない場合、ソフトウェアは、該当するネットワーク入力に対して指定された形式を使用します。

データ形式は文字列で、各文字は対応するデータ次元のタイプを表します。

各文字は以下のとおりです。

"S" — 空間
"C" — チャネル
"B" — バッチ
"T" — 時間
"U" — 指定なし

たとえば、シーケンスのバッチを表し、1 番目、2 番目、および 3 番目の次元がそれぞれチャネル、観測値、およびタイムステップに対応する配列があるとします。データは "CBT" (チャネル、バッチ、時間) の形式で記述できます。

"S" または "U" のラベルが付いた次元については、複数回指定できます。ラベル "C"、"B"、および "T" はそれぞれ 1 回まで使用できます。ソフトウェアは、2 番目の次元の後ろにある大きさが 1 の "U" 次元を無視します。

複数の入力をもつニューラルネットワーク net の場合、入力データ形式の配列を指定します。ここで、InputDataFormats(i) は入力 net.InputNames(i) に対応します。

詳細については、深層学習のデータ形式を参照してください。

データ型: char | string | cell

`TargetDataFormats` — ターゲットデータの次元の説明
`"auto"` (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

ターゲットデータの次元の説明。次のいずれかの値として指定します。

"auto" — ターゲットデータと入力データの次元の数が同じ場合、関数 trainnet は InputDataFormats で指定された形式を使用します。ターゲットデータと入力データの次元の数が異なる場合、関数 trainnet は損失関数で必要とされる形式を使用します。
string 配列、文字ベクトル、または文字ベクトルの cell 配列 — 関数 trainnet はユーザーが指定したデータ形式を使用します。

データ形式は文字列で、各文字は対応するデータ次元のタイプを表します。

各文字は以下のとおりです。

"S" — 空間
"C" — チャネル
"B" — バッチ
"T" — 時間
"U" — 指定なし

詳細については、深層学習のデータ形式を参照してください。

データ型: char | string | cell

監視

`Plots` — ニューラルネットワークの学習中に表示するプロット
`"none"` (既定値) | `"training-progress"`

ニューラルネットワークの学習中に表示するプロット。次のいずれかの値として指定します。

"none" — 学習中にプロットを表示しません。
"training-progress" — 学習の進行状況をプロットします。

プロットには、学習と検証の損失、Metrics プロパティで指定された学習と検証のメトリクス、および学習の進行状況に関する追加情報が表示されます。

学習後にプログラムで学習の進行状況プロットを開いたり閉じたりするには、関数 trainnet の 2 番目の出力で関数 show および close を使用します。Plots 学習オプションが "none" として指定されている場合でも、関数 show を使用して学習の進行状況を表示できます。

Y 軸のスケールを対数に切り替えるには、座標軸ツールバーを使用します。 Training plot axes toolbar with log scale enabled and the tooltip "Log scale y-axis".

プロットの詳細については、深層学習における学習の進行状況の監視を参照してください。

`Metrics` — 監視するメトリクス
`[]` (既定値) | 文字ベクトル | string 配列 | 関数ハンドル | `deep.DifferentiableFunction` オブジェクト | cell 配列 | メトリクスオブジェクト

監視するメトリクス。次のいずれかの値として指定します。

組み込みメトリクスまたは損失関数名 — string スカラー、文字ベクトル、または次の 1 つ以上の名前の cell 配列か string 配列としてメトリクスを指定します。
- メトリクス:
  - "accuracy" — 精度 (最上位精度とも呼ばれる)
  - "auc" — ROC 曲線下面積 (AUC)
  - "fscore" — F スコア (F₁ スコアとも呼ばれる)
  - "precision" — 適合率
  - "recall" — 再現率
  - "rmse" — 平方根平均二乗誤差
  - "mape" — 平均絶対誤差率 (MAPE)
  - "rsquared" — R² (決定係数) (R2025a 以降)
- 損失関数:
  - "crossentropy" — 分類タスクのクロスエントロピー損失。
  - "indexcrossentropy" — 分類タスクのインデックスクロスエントロピー損失。
  - "binary-crossentropy" — バイナリおよびマルチラベル分類タスクのバイナリクロスエントロピー損失。
  - "mae" / "mean-absolute-error" / "l1loss" — 回帰タスクの平均絶対誤差。
  - "mse" / "mean-squared-error" / "l2loss" — 回帰タスクの平均二乗誤差。
  - "huber" — 回帰タスクの Huber 損失
損失関数を "crossentropy" に設定し、メトリクスとして "index-crossentropy" を指定すること、または損失関数を "index-crossentropy" に設定し、メトリクスとして "crossentropy" を指定することはサポートされていないことに注意してください。
深層学習のメトリクスと損失関数の詳細については、Deep Learning Metricsを参照してください。
組み込みメトリクスオブジェクト — より高い柔軟性が必要な場合は、組み込みメトリクスオブジェクトを使用できます。ソフトウェアは、次の組み込みメトリクスオブジェクトをサポートします。
- AccuracyMetric
- AUCMetric
- FScoreMetric
- PrecisionMetric
- RecallMetric
- RMSEMetric
- MAPEMetric
- RSquaredMetric (R2025a 以降)
組み込みメトリクスオブジェクトを作成するときは、平均化のタイプ、タスクが単一ラベルか複数ラベルかなどの追加オプションを指定できます。
カスタムメトリクス関数ハンドル — 組み込みメトリクス以外のメトリクスが必要な場合は、関数ハンドルを使用してカスタムメトリクスを指定できます。関数の構文は metric = metricFunction(Y,T) でなければなりません。ここで、Y はネットワーク予測に対応し、T はターゲット応答に対応します。複数の出力をもつネットワークの場合、構文は metric = metricFunction(Y1,…,YN,T1,…TM) でなければなりません。ここで、N は出力の数、M はターゲットの数です。詳細については、Define Custom Metric Functionを参照してください。
deep.DifferentiableFunction オブジェクト — カスタム backward 関数をもつ関数オブジェクト。詳細については、カスタム深層学習演算の定義を参照してください。
カスタムメトリクスオブジェクト — より詳細なカスタマイズが必要な場合は、独自のカスタムメトリクスオブジェクトを定義できます。カスタムメトリクスの作成方法を示す例については、Define Custom Metric Objectを参照してください。カスタムメトリクスの作成に関する一般的な情報については、Define Custom Deep Learning Metric Objectを参照してください。trainingOptions 関数の Metrics オプションとしてカスタムメトリクスを指定します。

メトリクスを関数ハンドル、deep.DifferentiableFunction オブジェクト、またはカスタムメトリクスオブジェクトとして指定し、trainnet 関数を使用してニューラルネットワークに学習させる場合、ソフトウェアによってメトリクスに渡されるターゲットのレイアウトは、ターゲットのデータ型、trainnet 関数で指定する損失関数、および指定するその他のメトリクスによって異なります。

ターゲットが数値配列の場合、ソフトウェアはターゲットをメトリクスに直接渡します。
損失関数が "index-crossentropy" で、ターゲットが categorical 配列の場合、ソフトウェアはターゲットを数値クラスインデックスに自動的に変換し、メトリクスに渡します。
その他の損失関数では、ターゲットが categorical 配列の場合、ソフトウェアはターゲットを自動的に one-hot 符号化されたベクトルに変換し、メトリクスに渡します。

例: Metrics=["accuracy","fscore"]

例: Metrics=["accuracy",@myFunction,precisionObj]

`ObjectiveMetricName` — 目的指標の名前
`"loss"` (既定値) | string スカラー | 文字ベクトル

早期に停止して最適なネットワークを返すのに使用される目的指標の名前。string スカラーまたは文字ベクトルとして指定します。

このメトリクスの名前は、"loss" であるか、Metrics 引数で指定されたメトリクスの名前と同じでなければなりません。関数ハンドルで指定されたメトリクスはサポートされていません。ObjectiveMetricName の値をカスタムメトリクスの名前として指定するには、カスタムメトリクスオブジェクトの Maximize プロパティの値が空であってはなりません。詳細については、Define Custom Deep Learning Metric Objectを参照してください。

早期に停止するための目的指標の指定に関する詳細については、ValidationPatience を参照してください。目的指標を使用して最適なネットワークを返すことに関する詳細については、OutputNetwork を参照してください。

データ型: char | string

`Verbose` — 学習の進行状況の情報を表示するためのフラグ
`1` (`true`) (既定値) | `0` (`false`)

コマンドウィンドウに学習の進行状況の情報を表示するためのフラグ。1 (true) または 0 (false) として指定します。

このプロパティが 1 (true) である場合、ソフトウェアは次の情報を表示します。

変数	説明
`Iteration`	反復回数。
`TimeElapsed`	経過時間。時間、分、秒で示されます。
`TrainingLoss`	学習損失。
`ValidationLoss`	検証損失。検証データを指定しない場合、ソフトウェアはこの情報を表示しません。
`GradientNorm`	勾配のノルム。
`StepNorm`	ステップのノルム。

学習オプションで追加のメトリクスを指定した場合、詳細出力にもそれらのメトリクスが表示されます。たとえば、Metrics 学習オプションを "accuracy" に設定した場合、変数 TrainingAccuracy および ValidationAccuracy もこの情報に含まれます。

`VerboseFrequency` — 詳細出力の頻度
`50` (既定値) | 正の整数

コマンドウィンドウへの表示間の反復回数を示す、詳細出力の頻度。正の整数として指定します。

学習中にニューラルネットワークを検証する場合、ソフトウェアは、検証が行われるたびにコマンドウィンドウにも出力します。

このプロパティを有効にするには、Verbose 学習オプションを 1 (true) に設定します。

`OutputFcn` — 出力関数
関数ハンドル | 関数ハンドルの cell 配列

学習中に呼び出す出力関数。関数ハンドル、または関数ハンドルの cell 配列として指定します。ソフトウェアは、学習の開始前、各反復後、および学習の完了時に関数を 1 回呼び出します。

関数の構文は stopFlag = f(info) でなければなりません。ここで、info は学習の進行状況に関する情報が格納される構造体、stopFlag は学習を早期に停止させることを示すスカラーです。stopFlag が 1 (true) の場合、ソフトウェアは学習を停止させます。それ以外の場合、ソフトウェアは学習を続行します。

関数 trainnet は、次のフィールドをもつ構造体 info を出力関数に渡します。

フィールド	説明
`Iteration`	反復回数
`TimeElapsed`	経過時間 (時間、分、秒)
`TrainingLoss`	学習損失
`ValidationLoss`	検証損失。検証データを指定しない場合、ソフトウェアはこの情報を表示しません。
`GradientNorm`	勾配のノルム
`StepNorm`	ステップのノルム
`State`	反復での学習状態。`"start"`、`"iteration"`、または `"done"` として指定します。

学習オプションで追加のメトリクスを指定した場合、学習情報にもそれらのメトリクスが表示されます。たとえば、Metrics 学習オプションを "accuracy" に設定した場合、フィールド TrainingAccuracy および ValidationAccuracy もこの情報に含まれます。

フィールドが計算されない、または出力関数の特定の呼び出しに関連していない場合、そのフィールドには空の配列が含まれます。

出力関数の使用方法を示す例については、深層学習における学習用のカスタム停止条件を参照してください。

データ型: function_handle | cell

検証

`ValidationData` — 学習中の検証に使用するデータ
`[]` (既定値) | データストア | cell 配列 | `minibatchqueue` オブジェクト

学習中の検証で使用するデータ。[] として指定するか、検証予測子と検証ターゲットを含むデータストア、table、cell 配列、または minibatchqueue オブジェクトとして指定します。

学習中に、ソフトウェアは検証データを使用して検証損失とメトリクス値を計算します。検証頻度を指定するには、ValidationFrequency 学習オプションを使用します。検証データを使用して、検証目的指標が改善されなくなったときに学習を自動的に停止することもできます。既定では、目的指標は損失に設定されます。自動検証停止をオンにするには、ValidationPatience 学習オプションを使用します。

ValidationData が [] の場合、学習中にニューラルネットワークが検証されません。

ニューラルネットワークに予測時と学習時で動作が異なる層 (ドロップアウト層など) がある場合、検証損失が学習損失より低くなる可能性があります。

ValidationData が [] の場合、学習中にニューラルネットワークが検証されません。

データストア、table、minibatchqueue オブジェクト、または cell 配列 {predictors,targets} として検証データを指定します。ここで、predictors には検証予測子を格納し、targets には検証ターゲットを格納します。trainnet 関数でサポートされているいずれかのレイアウトを使用して、検証予測子と検証ターゲットの値を指定します。

詳細については、関数 trainnet の入力引数を参照してください。

`ValidationFrequency` — ニューラルネットワークの検証の頻度
`50` (既定値) | 正の整数

反復回数で示されるニューラルネットワークの検証の頻度。正の整数として指定します。

ValidationFrequency の値は、検証メトリクスの評価間の反復回数です。検証データを指定するには、ValidationData 学習オプションを使用します。

`ValidationPatience` — 検証停止までの待機回数
`Inf` (既定値) | 正の整数

ニューラルネットワークの学習の検証を停止するまでの待機回数。正の整数または Inf として指定します。

ValidationPatience は、ニューラルネットワークの学習が停止するまでに、検証セットでの目的指標が前の最良値以下になることが許容される回数を指定します。ValidationPatience が Inf の場合、検証メトリクスの値によって学習が早期に停止することはありません。ソフトウェアは、メトリクスの Maximize プロパティの指定に従って、メトリクスを最大化または最小化しようと試みます。目的指標が "loss" の場合、ソフトウェアは損失値を最小化しようと試みます。

返されるニューラルネットワークは、OutputNetwork 学習オプションによって異なります。検証メトリクス値が最良であるニューラルネットワークを返すようにするには、OutputNetwork 学習オプションを "best-validation" に設定します。

`OutputNetwork` — 学習完了時に返すニューラルネットワーク
`"auto"` (既定値) | `"last-iteration"` | `"best-validation"`

学習完了時に返すニューラルネットワーク。次のいずれかとして指定します。

"auto" – ValidationData が指定されている場合は "best-validation" を使用します。それ以外の場合は "last-iteration" を使用します。
"best-validation" – 検証メトリクス値が最良となる学習反復に対応するニューラルネットワークを返します。最適化するメトリクスは ObjectiveMetricName オプションで指定します。このオプションを使用するには、ValidationData 学習オプションを指定しなければなりません。
"last-iteration" – 最後の学習反復に対応するニューラルネットワークを返す。

正規化

`ResetInputNormalization` — 入力層の正規化をリセットするオプション
`1` (`true`) (既定値) | `0` (`false`)

入力層の正規化をリセットするオプション。次のいずれかに指定します。

1 (true) — 入力層の正規化統計量をリセットし、学習時に再計算します。
0 (false) — 正規化統計量が空の場合、学習時に計算します。

`BatchNormalizationStatistics` — バッチ正規化層の統計量を評価するモード
`"auto"` (既定値) | `"population"` | `"moving"`

バッチ正規化層の統計量を評価するモード。次のいずれかとして指定します。

"population" — 母集団の統計量を使用します。学習終了後に学習データが再度渡され、その結果得られる平均と分散を使用して最終的な統計量が決定されます。
"moving" — 学習中、以下の更新ステップで与えられる実行時推定を使用して統計量を近似します。

$\begin{array}{l} μ^{*} = λ_{μ} \hat{μ} + (1 - λ_{μ}) μ \\ σ^{2}^{*} = λ_{σ^{2}} \hat{σ^{2}} + (1- λ_{σ^{2}}) σ^{2} \end{array}$
ここで、 $μ^{*}$ と $σ^{2}^{*}$ はそれぞれ更新後の平均と分散、 $λ_{μ}$ と $λ_{σ^{2}}$ はそれぞれ平均と分散の減衰値、 $\hat{μ}$ と $\hat{σ^{2}}$ はそれぞれ層入力の平均と分散、 $μ$ と $σ^{2}$ はそれぞれ移動平均と分散の値の最新値を表します。学習終了後、最後に得られた移動平均と分散の値が使用されます。このオプションは、CPU および単一の GPU による学習のみをサポートします。
"auto" — "moving" オプションを使用します。

シーケンス

`SequenceLength` — 入力シーケンスのパディングまたは切り捨てを行うオプション
`"longest"` (既定値) | `"shortest"`

入力シーケンスのパディングまたは切り捨てを行うオプション。次のいずれかのオプションとして指定します。

"longest" — 最長のシーケンスと同じ長さになるようにシーケンスのパディングを行います。このオプションを使用するとデータは破棄されませんが、パディングによってニューラルネットワークにノイズが生じることがあります。
"shortest" — 最短のシーケンスと同じ長さになるようにシーケンスの切り捨てを行います。このオプションを使用すると、関数はパディングを追加しなくなりますが、代わりにデータが破棄されます。

入力シーケンスのパディングと切り捨ての効果の詳細については、シーケンスのパディングと切り捨てを参照してください。

`SequencePaddingDirection` — パディングまたは切り捨ての方向
`"right"` (既定値) | `"left"`

パディングまたは切り捨ての方向。次のいずれかのオプションとして指定します。

"right" — シーケンスの右側に対してパディングまたは切り捨てを行います。シーケンスは同じタイムステップで始まり、ソフトウェアによって各シーケンスの末尾に対して切り捨てまたはパディングの追加が行われます。
"left" — シーケンスの左側に対してパディングまたは切り捨てを行います。各シーケンスが同じタイムステップで終わるように、ソフトウェアによって各シーケンスの先頭に対して切り捨てまたはパディングの追加が行われます。

再帰層は 1 タイムステップずつシーケンスデータを処理するため、再帰層の OutputMode プロパティが "last" の場合、最後のタイムステップでパディングを行うと層の出力に悪影響を与える可能性があります。シーケンスデータの左側に対してパディングまたは切り捨てを行うには、名前と値の引数 SequencePaddingDirection を "left" に設定します。

sequence-to-sequence ニューラルネットワークの場合 (各再帰層について OutputMode プロパティが "sequence" である場合)、最初のタイムステップでパディングを行うと、それ以前のタイムステップの予測に悪影響を与える可能性があります。シーケンスデータの右側に対してパディングまたは切り捨てを行うには、名前と値の引数 SequencePaddingDirection を "right" に設定します。

シーケンスのパディングと切り捨ての効果の詳細については、シーケンスのパディングと切り捨てを参照してください。

`SequencePaddingValue` — 入力シーケンスをパディングする値
`0` (既定値) | スカラー

入力シーケンスをパディングする値。スカラーとして指定します。

ニューラルネットワーク全体にエラーが伝播される可能性があるため、NaN でシーケンスをパディングしないでください。

ハードウェアと高速化

`ExecutionEnvironment` — ハードウェアリソース
`"auto"` (既定値) | `"gpu"` | `"cpu"`

ハードウェアリソース。次のいずれかの値として指定します。

"auto" — 利用可能な場合、GPU を使用します。そうでない場合、CPU を使用します。
"gpu" — GPU を使用します。GPU を使用するには Parallel Computing Toolbox™ ライセンスとサポートされている GPU デバイスが必要です。サポートされているデバイスの詳細については、GPU 計算の要件 (Parallel Computing Toolbox)を参照してください。Parallel Computing Toolbox または適切な GPU が利用できない場合、エラーが返されます。
"cpu" — CPU を使用します。

`Acceleration` — パフォーマンスの最適化
`"auto"` (既定値) | `"none"`

パフォーマンスの最適化。次のいずれかの値として指定します。

"auto" – 入力ネットワークとハードウェアリソースに適した最適化の回数を自動的に適用します。
"none" – すべての最適化を無効にします。

"auto" 高速化オプションを使用すると、パフォーマンス上のメリットが得られますが、初期実行時間が長くなります。互換性のあるパラメーターを使用した後続の呼び出しは、より高速になります。サイズと形状が同じである異なる入力データを使用して関数を複数回呼び出す場合は、パフォーマンスの最適化を使用してください。

チェックポイント

`CheckpointPath` — チェックポイントニューラルネットワークの保存用のパス
`""` (既定値) | string スカラー | 文字ベクトル

チェックポイントニューラルネットワークの保存用のパス。string スカラーまたは文字ベクトルとして指定します。

パスを指定しない (既定の "" を使用する) 場合、チェックポイントニューラルネットワークは保存されません。
パスを指定すると、ソフトウェアによってこのパスにチェックポイントニューラルネットワークが保存され、各ニューラルネットワークに一意の名前が割り当てられます。その後、いずれかのチェックポイントニューラルネットワークを読み込み、そのニューラルネットワークから学習を再開できます。
フォルダーが存在していない場合、チェックポイントニューラルネットワークを保存するパスを指定する前に、まずフォルダーを作成しなければなりません。指定したパスが存在していない場合、ソフトウェアはエラーをスローします。

データ型: char | string

`CheckpointFrequency` — チェックポイントニューラルネットワークを保存する頻度
`30` (既定値) | 正の整数

チェックポイントニューラルネットワークを繰り返し保存する頻度。正の整数として指定します。

このオプションは、CheckpointPath が空でない場合にのみ有効です。

例

すべて折りたたむ

LM オプティマイザーの学習オプションの作成

ライブスクリプトを開く

LM オプティマイザーを使用したニューラルネットワーク学習の一連のオプションを作成します。

初期減衰係数として 0.002 を使用する。
最大減衰係数として $1 0^{- 9}$ を使用する。
係数 12 を使用して減衰を大きくする。
係数 0.2 を使用して減衰を小さくする。

options = trainingOptions("lm", ...
    InitialDampingFactor=0.002, ...
    MaxDampingFactor=1e9, ...
    DampingIncreaseFactor=12, ...
    DampingDecreaseFactor=0.2)

options = 
  TrainingOptionsLM with properties:

            InitialDampingFactor: 0.0020
                MaxDampingFactor: 1.0000e+09
           DampingDecreaseFactor: 0.2000
           DampingIncreaseFactor: 12
                   MaxIterations: 1000
               GradientTolerance: 1.0000e-05
                   StepTolerance: 1.0000e-05
                         Verbose: 1
                VerboseFrequency: 50
                  ValidationData: []
             ValidationFrequency: 50
              ValidationPatience: Inf
                         Metrics: []
             ObjectiveMetricName: 'loss'
            ExecutionEnvironment: 'auto'
                           Plots: 'none'
                       OutputFcn: []
                  SequenceLength: 'longest'
            SequencePaddingValue: 0
        SequencePaddingDirection: 'right'
                InputDataFormats: "auto"
               TargetDataFormats: "auto"
         ResetInputNormalization: 1
    BatchNormalizationStatistics: 'auto'
                   OutputNetwork: 'auto'
                    Acceleration: "auto"
                  CheckpointPath: ''
             CheckpointFrequency: 30
        CategoricalInputEncoding: 'integer'
       CategoricalTargetEncoding: 'auto'

アルゴリズム

すべて展開する

レーベンバーグ・マルカート

アルゴリズムは、次で与えられる更新ステップを使用し、反復 k+1 で学習可能なパラメーター W を更新します。

$W_{k + 1} = W_{k} + Δ W_{k},$

ここで、ΔW_k は、次で与えられる反復 k での重みの変化です。

$Δ W_{k} = - {(H_{k})}^{- 1} \nabla E_{k} .$

ここで、H_k は反復 k での近似ヘッセ行列であり、 $\nabla E_{k}$ は、学習可能なパラメーターに関する反復 k での損失の勾配です。このアルゴリズムは、次を使用してヘッセ行列を近似します。

$H_{k} = J_{k}^{⊤} J_{k} + μ_{k} I,$

ここで、J_k は反復 k でのヤコビ行列、μ_k は反復 k での減衰係数、I は単位行列です。

ソルバーは、各反復で実行されるステップサイズを調整するために減衰係数を使用し、各反復で適応的に更新します。反復によって損失が増加すると減衰係数は増加し、損失が減少すると減衰係数は減少します。これらの調整により、オプティマイザーは、損失が増加しているときにはより大きなステップを、損失が減少しているときにはより小さなステップをそれぞれ実行するようになります。

ソルバーは、損失が増加した場合には DampingIncreaseFactor を、損失が減少した場合には DampingDecreaseFactor をそれぞれ乗算して、減衰係数を適応的に増減します。

参照

[1] Marquardt, Donald W. “An Algorithm for Least-Squares Estimation of Nonlinear Parameters.” Journal of the Society for Industrial and Applied Mathematics 11, no. 2 (June 1963): 431–41. https://doi.org/10.1137/0111030.

バージョン履歴

R2024b で導入

すべて展開する

R2025a: categorical 入力と categorical ターゲットの数値符号化の指定

ニューラルネットワークに学習させるために categorical 入力と categorical ターゲットを数値に変換する方法を指定するには、それぞれ CategoricalInputEncoding 引数と CategoricalTargetEncoding 引数を使用します。

R2025a: 勾配とステップの許容誤差をゼロとして指定

L-BFGS または LM ソルバーを使用するときに、相対勾配またはステップサイズの値によって学習が停止しないようにするには、trainingOptions 関数の GradientTolerance 引数と StepTolerance 引数をそれぞれ 0 に設定します。

R2025a: メトリクス:R² メトリクスの監視およびプロット

学習時に R² メトリクスを監視してプロットします。

このメトリクスを使用して学習時の動作を監視およびプロットするには、Metrics を使用して指定します。"rsquared" を指定することも、より高度なカスタマイズが必要な場合には RSquaredMetric オブジェクトを作成することもできます。

参考

trainingOptions | trainnet | dlnetwork | analyzeNetwork | ディープネットワークデザイナー

TrainingOptionsLM

説明

作成

プロパティ

LM

MaxIterations — 最大反復回数 1000 (既定値) | 正の整数

InitialDampingFactor — 初期減衰係数 0.001 (既定値) | 正のスカラー

MaxDampingFactor — 最大減衰係数 1e10 (既定値) | 正のスカラー

DampingIncreaseFactor — 減衰係数を増加させる係数 10 (既定値) | 1 より大きい正のスカラー

DampingDecreaseFactor — 減衰係数を減少させる係数 0.1 (既定値) | 1 未満の正のスカラー

GradientTolerance — 相対勾配の許容値 1e-5 (既定値) | 正のスカラー | 0 (R2025a 以降)

StepTolerance — ステップ サイズの許容値 1e-5 (既定値) | 正のスカラー | 0 (R2025a 以降)

データ レイアウト

CategoricalInputEncoding — categorical 入力の符号化 "integer" (既定値) | "one-hot"

CategoricalTargetEncoding — categorical ターゲットの符号化 "auto" (既定値) | "integer" | "one-hot"

InputDataFormats — 入力データの次元の説明 "auto" (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

TargetDataFormats — ターゲット データの次元の説明 "auto" (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

監視

Plots — ニューラル ネットワークの学習中に表示するプロット "none" (既定値) | "training-progress"

Metrics — 監視するメトリクス [] (既定値) | 文字ベクトル | string 配列 | 関数ハンドル | deep.DifferentiableFunction オブジェクト | cell 配列 | メトリクス オブジェクト

ObjectiveMetricName — 目的指標の名前 "loss" (既定値) | string スカラー | 文字ベクトル

Verbose — 学習の進行状況の情報を表示するためのフラグ 1 (true) (既定値) | 0 (false)

VerboseFrequency — 詳細出力の頻度 50 (既定値) | 正の整数

OutputFcn — 出力関数 関数ハンドル | 関数ハンドルの cell 配列

検証

ValidationData — 学習中の検証に使用するデータ [] (既定値) | データストア | cell 配列 | minibatchqueue オブジェクト

ValidationFrequency — ニューラル ネットワークの検証の頻度 50 (既定値) | 正の整数

ValidationPatience — 検証停止までの待機回数 Inf (既定値) | 正の整数

OutputNetwork — 学習完了時に返すニューラル ネットワーク "auto" (既定値) | "last-iteration" | "best-validation"

正規化

ResetInputNormalization — 入力層の正規化をリセットするオプション 1 (true) (既定値) | 0 (false)

BatchNormalizationStatistics — バッチ正規化層の統計量を評価するモード "auto" (既定値) | "population" | "moving"

シーケンス

SequenceLength — 入力シーケンスのパディングまたは切り捨てを行うオプション "longest" (既定値) | "shortest"

SequencePaddingDirection — パディングまたは切り捨ての方向 "right" (既定値) | "left"

SequencePaddingValue — 入力シーケンスをパディングする値 0 (既定値) | スカラー

ハードウェアと高速化

ExecutionEnvironment — ハードウェア リソース "auto" (既定値) | "gpu" | "cpu"

Acceleration — パフォーマンスの最適化 "auto" (既定値) | "none"

チェックポイント

CheckpointPath — チェックポイント ニューラル ネットワークの保存用のパス "" (既定値) | string スカラー | 文字ベクトル

CheckpointFrequency — チェックポイント ニューラル ネットワークを保存する頻度 30 (既定値) | 正の整数

例

LM オプティマイザーの学習オプションの作成

アルゴリズム

レーベンバーグ・マルカート

参照

バージョン履歴

R2025a: categorical 入力と categorical ターゲットの数値符号化の指定

R2025a: 勾配とステップの許容誤差をゼロとして指定

R2025a: メトリクス:R2 メトリクスの監視およびプロット

参考

トピック

`MaxIterations` — 最大反復回数
`1000` (既定値) | 正の整数

`InitialDampingFactor` — 初期減衰係数
`0.001` (既定値) | 正のスカラー

`MaxDampingFactor` — 最大減衰係数
`1e10` (既定値) | 正のスカラー

`DampingIncreaseFactor` — 減衰係数を増加させる係数
`10` (既定値) | 1 より大きい正のスカラー

`DampingDecreaseFactor` — 減衰係数を減少させる係数
`0.1` (既定値) | 1 未満の正のスカラー

`GradientTolerance` — 相対勾配の許容値
`1e-5` (既定値) | 正のスカラー | `0` (R2025a 以降)

`StepTolerance` — ステップサイズの許容値
`1e-5` (既定値) | 正のスカラー | `0` (R2025a 以降)

データレイアウト

`CategoricalInputEncoding` — categorical 入力の符号化
`"integer"` (既定値) | `"one-hot"`

`CategoricalTargetEncoding` — categorical ターゲットの符号化
`"auto"` (既定値) | `"integer"` | `"one-hot"`

`InputDataFormats` — 入力データの次元の説明
`"auto"` (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

`TargetDataFormats` — ターゲットデータの次元の説明
`"auto"` (既定値) | string 配列 | 文字ベクトルの cell 配列 | 文字ベクトル

`Plots` — ニューラルネットワークの学習中に表示するプロット
`"none"` (既定値) | `"training-progress"`

`Metrics` — 監視するメトリクス
`[]` (既定値) | 文字ベクトル | string 配列 | 関数ハンドル | `deep.DifferentiableFunction` オブジェクト | cell 配列 | メトリクスオブジェクト

`ObjectiveMetricName` — 目的指標の名前
`"loss"` (既定値) | string スカラー | 文字ベクトル

`Verbose` — 学習の進行状況の情報を表示するためのフラグ
`1` (`true`) (既定値) | `0` (`false`)

`VerboseFrequency` — 詳細出力の頻度
`50` (既定値) | 正の整数

`OutputFcn` — 出力関数
関数ハンドル | 関数ハンドルの cell 配列

`ValidationData` — 学習中の検証に使用するデータ
`[]` (既定値) | データストア | cell 配列 | `minibatchqueue` オブジェクト

`ValidationFrequency` — ニューラルネットワークの検証の頻度
`50` (既定値) | 正の整数

`ValidationPatience` — 検証停止までの待機回数
`Inf` (既定値) | 正の整数

`OutputNetwork` — 学習完了時に返すニューラルネットワーク
`"auto"` (既定値) | `"last-iteration"` | `"best-validation"`

`ResetInputNormalization` — 入力層の正規化をリセットするオプション
`1` (`true`) (既定値) | `0` (`false`)

`BatchNormalizationStatistics` — バッチ正規化層の統計量を評価するモード
`"auto"` (既定値) | `"population"` | `"moving"`

`SequenceLength` — 入力シーケンスのパディングまたは切り捨てを行うオプション
`"longest"` (既定値) | `"shortest"`

`SequencePaddingDirection` — パディングまたは切り捨ての方向
`"right"` (既定値) | `"left"`

`SequencePaddingValue` — 入力シーケンスをパディングする値
`0` (既定値) | スカラー

`ExecutionEnvironment` — ハードウェアリソース
`"auto"` (既定値) | `"gpu"` | `"cpu"`

`Acceleration` — パフォーマンスの最適化
`"auto"` (既定値) | `"none"`

`CheckpointPath` — チェックポイントニューラルネットワークの保存用のパス
`""` (既定値) | string スカラー | 文字ベクトル

`CheckpointFrequency` — チェックポイントニューラルネットワークを保存する頻度
`30` (既定値) | 正の整数

R2025a: メトリクス:R² メトリクスの監視およびプロット