trainAutoencoder

(削除予定) 自己符号化器の学習

trainAutoencoder は将来のリリースで削除される予定です。詳細については、Transition Legacy Neural Network Code to dlnetwork Workflowsを参照してください。

コードの更新に関するアドバイスについては、バージョン履歴を参照してください。

構文

autoenc = trainAutoencoder(X)

autoenc = trainAutoencoder(X,hiddenSize)

autoenc = trainAutoencoder(___,Name=Value)

説明

autoenc = trainAutoencoder(X) は、X の学習データを使用して学習させた自己符号化器 autoenc を返します。

autoenc = trainAutoencoder(X,hiddenSize) は、隠れ表現のサイズが hiddenSize の自己符号化器 autoenc を返します。

autoenc = trainAutoencoder(___,Name=Value) では、前の構文の入力引数に加えて、1 つ以上の名前と値の引数を使用してオプションを指定します。たとえば、GPU で学習を行うには、UseGPU を "on" に設定します。

例

スパース自己符号化器の学習

サンプル データを読み込みます。

X = abalone_dataset;

X は、4177 個のアワビの貝殻について、性別 (M、F、および I (幼生))、全長、直径、高さ、全重量、むき身重量、内臓重量、貝殻重量の 8 個の属性を定義する 8 行 4177 列の行列です。このデータセットの詳細を表示するには、コマンド ラインで help abalone_dataset と入力します。

既定の設定でスパース自己符号化器に学習させます。

autoenc = trainAutoencoder(X);

学習済みの自己符号化器を使用して、アワビの貝殻の輪のデータを再構成します。

XReconstructed = predict(autoenc,X);

平均二乗再構成誤差を計算します。

mseError = mse(X-XReconstructed)

mseError = 
0.0167

入力引数

X — 学習データ

行列 | イメージ データの cell 配列

学習データ。学習サンプルの行列またはイメージ データの cell 配列として指定します。X が行列の場合、各列に 1 つのサンプルが含まれます。X がイメージ データの cell 配列の場合、各セルのデータの次元の数が同じでなければなりません。イメージ データは、グレー イメージのピクセル強度データにすることができます。この場合、各セルには m 行 n 列の行列が格納されます。または、イメージ データを RGB データにすることができます。この場合、各セルには m 行 n-3 列の行列が格納されます。

データ型: single | double | cell

hiddenSize — 自己符号化器の隠れ表現のサイズ

10 (既定値) | 正の整数値

自己符号化器の隠れ表現のサイズ。正の整数値として指定します。この数値は、隠れ層のニューロンの数になります。

データ型: single | double

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで、Name は引数名で、Value は対応する値です。名前と値の引数は他の引数の後に指定しなければなりませんが、ペアの順序は重要ではありません。

R2021a より前では、コンマを使用して名前と値をそれぞれ区切り、Name を引用符で囲みます。

例: EncoderTransferFunction="satlin",L2WeightRegularization=0.05 は、符号化器の伝達関数に正の飽和線形伝達関数、L2 重み正則化に 0.05 を指定します。

EncoderTransferFunction — 符号化器の伝達関数

"logsig" (既定値) | "satlin"

符号化器の伝達関数。次の表にリストされている値のいずれかとして指定します。

伝達関数オプション	定義
"logsig"	ロジスティック シグモイド関数 $$f\left(z\right)=\frac{1}{1+e^{-z}}$$
"satlin"	正の飽和線形伝達関数 $$f\left(z\right)=\{\begin{array}{cc}0,& \text{if }z\le 0\\ z\text{,}& \text{if }0<z<1\\ 1,& \text{if}z\ge 1\end{array}$$

この引数は、出力 Autoencoder オブジェクトの EncoderTransferFunction 学習パラメーター プロパティを文字ベクトルとして設定します。

例: EncoderTransferFunction="satlin"

DecoderTransferFunction — 復号化器の伝達関数

"logsig" (既定値) | "satlin" | "purelin"

復号化器の伝達関数。次の表にリストされている値のいずれかとして指定します。

伝達関数オプション	定義
"logsig"	ロジスティック シグモイド関数 $$f\left(z\right)=\frac{1}{1+e^{-z}}$$
"satlin"	正の飽和線形伝達関数 $$f\left(z\right)=\{\begin{array}{cc}0,& \text{if }z\le 0\\ z\text{,}& \text{if }0<z<1\\ 1,& \text{if}z\ge 1\end{array}$$
"purelin"	線形伝達関数 $$f\left(z\right)=z$$

この引数は、出力 Autoencoder オブジェクトの DecoderTransferFunction 学習パラメーター プロパティを文字ベクトルとして設定します。

例: DecoderTransferFunction="purelin"

MaxEpochs — 最大学習エポック数

1000 (既定値) | 正の整数値

学習エポックまたは反復の最大回数。正の整数値として指定します。

例: MaxEpochs=1200

L2WeightRegularization — L₂ 重み正則化項の係数

0.001 (既定値) | 正のスカラー値

コスト関数の L₂ 重み正則化項の係数 (LossFunction)。正のスカラー値として指定します。

例: L2WeightRegularization=0.05

LossFunction — 学習に使用する損失関数

"msesparse" (既定値)

学習に使用する損失関数。"msesparse" として指定します。これは、以下のようにスパース自己符号化器の学習用に調整された平均二乗誤差関数に対応しています。

$$E=\underset{\text{mean squared error}}{\underbrace{\frac{1}{N}{\displaystyle \sum _{n=1}^N{\displaystyle \sum _{k=1}^K{\left(x_{kn}-{\widehat{x}}_{kn}\right)}^2}}}}+\lambda *\underset{\begin{array}{c}{L}_2\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{weights}}}+\beta *\underset{\begin{array}{c}\text{sparsity}\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{sparsity}}},$$

ここで、λ は L₂ 正則化項の係数、β はスパース正則化項の係数です。自己符号化器の学習時に、名前と値の引数 L2WeightRegularization および SparsityRegularization を使用して、λ および β の値をそれぞれ指定できます。

この引数は、出力 Autoencoder オブジェクトの LossFunction 学習パラメーター プロパティを文字ベクトルとして設定します。

ShowProgressWindow — 学習ウィンドウを表示するかどうかのインジケーター

1 (true) (既定値) | 0 (false)

学習ウィンドウを表示するかどうかのインジケーター。数値または logical の 1 (true) または 0 (false) として指定します。

例: ShowProgressWindow=false

SparsityProportion — ニューロンが応答する学習例の目標比率

0.05 (既定値) | 0 から 1 の範囲にある正のスカラー値

ニューロンが応答する学習例の目標比率。正のスカラー値として指定します。スパース率は、スパース正則化項のパラメーターです。これは、隠れ層からの出力のスパース性を制御します。SparsityProportion に低い値を指定すると、通常、隠れ層の各ニューロンは、少数の学習例の出力を大きくした場合に限り "特殊化" します。したがって、スパース率を低くすると、スパース度が高くなります。

例: SparsityProportion=0.01 は、隠れ層の各ニューロンの学習例に対する平均出力が 0.1 になるようにすることと等価です。

SparsityRegularization — スパース正則化項の影響を制御する係数

1 (既定値) | 正のスカラー値

コスト関数のスパース正則化項の影響を制御する係数。正のスカラー値として指定します。

例: SparsityRegularization=1.6

TrainingAlgorithm — 自己符号化器の学習に使用するアルゴリズム

"trainscg" (既定値)

自己符号化器の学習に使用するアルゴリズム。"trainscg" として指定します。これは、スケーリング共役勾配降下法 [1] を意味します。

この引数は、出力 Autoencoder オブジェクトの TrainingAlgorithm 学習パラメーター プロパティを文字ベクトルとして設定します。

ScaleData — 入力データを再スケーリングするかどうかのインジケーター

1 (true) (既定値) | 0 (false)

入力データを再スケーリングするかどうかのインジケーター。数値または logical の 1 (true) または 0 (false) として指定します。

自己符号化器は、出力で入力を複製しようとします。これを可能にするには、入力データの範囲が復号化器の伝達関数の範囲と一致しなければなりません。trainAutoencoder は、自己符号化器の学習時に、この範囲に合わせて学習データを自動的にスケーリングします。自己符号化器の学習時にデータがスケーリングされた場合、predict、encode、および decode の各メソッドでもデータのスケーリングが行われます。

例: ScaleData=false

UseGPU — 学習に GPU を使用するオプション

"off" (既定値) | "on" | "auto"

学習に GPU を使用するオプション。次のいずれかの値として指定します。

• "off" — ローカル CPU を使用します。

• "on" — ローカル GPU を使用します。

• "auto" — 利用可能な場合、ローカル GPU を使用します。そうでない場合、ローカル CPU を使用します。

GPU を使用して MATLAB^® での計算を高速化するには、Parallel Computing Toolbox™ およびサポートされている GPU デバイスが必要です。サポートされているデバイスの詳細については、GPU 計算の要件 (Parallel Computing Toolbox)を参照してください。

R2026a より前: UseGPU オプションを数値または logical の 0 (false) または 1 (true) として指定します。これらはそれぞれ "off" と "auto" に対応します。

例: UseGPU="on"

出力引数

autoenc — 学習済みの自己符号化器

Autoencoder オブジェクト

学習済みの自己符号化器。Autoencoder オブジェクトとして返されます。このオブジェクトのプロパティとメソッドについては、Autoencoder クラスのページを参照してください。

詳細

自己符号化器

自己符号化器とは、出力で入力を複製するように学習させられたニューラル ネットワークです。ラベル付けされたデータを必要としないという意味で、自己符号化器が行う学習は教師なし学習です。ただし、学習プロセスはコスト関数の最適化をベースにしています。コスト関数は、入力 x と、その出力での再構成 $$\widehat{x}$$ の誤差を測定します。

自己符号化器は、符号化器と復号化器で構成されています。符号化器と復号化器には複数の層がある場合がありますが、単純化のために、それぞれの層が 1 つだけであると考えます。

自己符号化器への入力がベクトル $$x\in {ℝ}^{D_x}$$ である場合、符号化器は以下のようにベクトル x を別のベクトル $$z\in {ℝ}^{D^{\left(1\right)}}$$ にマッピングします。

$$z=h^{{}^{\left(1\right)}}\left(W^{\left(1\right)}x+b^{\left(1\right)}\right),$$

ここで、上付き文字 (1) は最初の層を示します。$$h^{\left(1\right)}:{ℝ}^{D^{\left(1\right)}}\to {ℝ}^{D^{\left(1\right)}}$$ は符号化器の伝達関数、$$W^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}\times D_{{}^x}}$$ は重み行列、$$b^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}}$$ はバイアス ベクトルです。次に、復号化器が、符号化された表現 z を以下のように元の入力ベクトル x の推定に逆マッピングします。

$$\widehat{x}=h^{{}^{\left(2\right)}}\left(W^{\left(2\right)}z+b^{\left(2\right)}\right),$$

ここで、上付き文字 (2) は 2 番目の層を表します。$$h^{\left(2\right)}:{ℝ}^{D_x}\to {ℝ}^{D_x}$$ は復号化器の伝達関数、$$W^{\left(1\right)}\in {ℝ}^{D_{{}^x}\times D^{\left(1\right)}}$$ は重み行列、$$b^{\left(2\right)}\in {ℝ}^{D_x}$$ はバイアス ベクトルです。

スパース自己符号化器

正則化項をコスト関数に追加することによって、自己符号化器のスパース性を高めることができます [2]。この正則化項は、ニューロンの平均出力活性化値の関数です。ニューロン i の平均出力活性化測定値は、以下のように定義されます。

$${\widehat{\rho }}_i=\frac{1}{n}{\displaystyle \sum _{j=1}^n{z}_i^{\left(1\right)}\left(x_j\right)}=\frac{1}{n}{\displaystyle \sum _{j=1}^{n}h\left(w_i^{\left(1\right)T}{x}_j+b_i^{\left(1\right)}\right)},$$

ここで、n は学習例の総数です。x_j は j 番目の学習例、$$w_i^{\left(1\right)T}$$ は重み行列 $$W^{\left(1\right)}$$ の i 番目の行、$$b_i^{\left(1\right)}$$ はバイアス ベクトル $$b^{\left(1\right)}$$ の i 番目のエントリです。出力活性化値が大きい場合、ニューロンが '活性化' していると見なされます。出力活性化値が小さい場合、学習例の数が少ないことに応答して隠れ層のニューロンが活性化することを意味します。コスト関数に $${\widehat{\rho }}_i$$ の値を低く抑える項を追加すると、自己符号化器が表現を学習するようになります。隠れ層の各ニューロンは、学習例の数が少ないことに対して活性化します。つまり、各ニューロンは、学習例の小規模サブセットだけに含まれる特定の特徴に応答することによって特殊化します。

スパース正則化

スパース正則化項は、隠れ層からの出力のスパース性に制約を課そうとします。ニューロン i の平均出力活性化値 $${\widehat{\rho }}_i$$ とその目標値 $$\rho$$ が近くない場合に大きな値を取る正則化項を追加することによって、スパース性を高めることができます [2]。このようなスパース正則化項の 1 つとして、カルバック・ライブラー ダイバージェンスが挙げられます。

$${\Omega }_{sparsity}={\displaystyle \sum _{i=1}^{D^{\left(1\right)}}KL\left(\rho \parallel {\widehat{\rho }}_i\right)}={\displaystyle \sum _{i=1}^{D^{\left(1\right)}}\rho \log \left(\frac{\rho }{{\widehat{\rho }}_i}\right)+\left(1-\rho \right)\log \left(\frac{1-\rho }{1-{\widehat{\rho }}_i}\right)}$$

カルバック・ライブラー ダイバージェンスは、2 つの分布の違いを測定する関数です。この場合、$$\rho$$ および $${\widehat{\rho }}_i$$ が互いに等しい場合には値 0 を取り、互いの差が開くに従い値が大きくなります。コスト関数を最小化するとこの項が小さくなるため、$$\rho$$ と $${\widehat{\rho }}_i$$ が互いに近くなります。自己符号化器の学習時に、名前と値のペアの引数 SparsityProportion を使用して、平均活性化値の目標値を定義できます。

L₂ 正則化

スパース自己符号化器の学習を行う場合、重み w^(l) の値を大きく、z⁽¹⁾ の値を小さくすることによって、スパース正則化項を小さくすることができます [2]。コスト関数に対する重みに正則化項を追加すると、これが起こらなくなります。この項は L₂ 正則化項と呼ばれ、以下のように定義されます。

$${\Omega }_{weights}=\frac{1}{2}{\displaystyle \sum _{l=1}^L{\displaystyle \sum _{j=1}^{n_l}{\displaystyle \sum _{i=1}^{k_l}{\left(w_{ji}^{(l)}\right)}^2}}},$$

ここで、L は隠れ層の数、n_l は層 l の出力サイズ、k_l は層 l の入力サイズです。L₂ 正則化項は、各層の重み行列の要素の二乗和です。

コスト関数

スパース自己符号化器の学習用のコスト関数は、以下のような調整された平均二乗誤差関数です。

$$E=\underset{\text{mean squared error}}{\underbrace{\frac{1}{N}{\displaystyle \sum _{n=1}^N{\displaystyle \sum _{k=1}^K{\left(x_{kn}-{\widehat{x}}_{kn}\right)}^2}}}}+\lambda *\underset{\begin{array}{c}{L}_2\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{weights}}}+\beta *\underset{\begin{array}{c}\text{sparsity}\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{sparsity}}},$$

ここで、λ は L₂ 正則化項の係数、β はスパース正則化項の係数です。自己符号化器の学習時に、名前と値のペアの引数 L2WeightRegularization および SparsityRegularization を使用して、λ および β の値をそれぞれ指定できます。

参照

[1] Moller, M. F. “A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning”, Neural Networks, Vol. 6, 1993, pp. 525–533.

[2] Olshausen, B. A. and D. J. Field. “Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by V1.” Vision Research, Vol.37, 1997, pp.3311–3325.

バージョン履歴

R2015b で導入

R2026a: trainAutoencoder は削除予定

trainAutoencoder は将来のリリースで削除される予定です。

自己符号化器のワークフローの詳細については、以下の例とトピックを参照してください。

• ディープ ネットワーク デザイナーを使用したネットワークの構築

• 深層学習を使用した時系列異常検出

• Detect Anomalies Using Wavelet Scattering with Autoencoders

• 変分自己符号化器 (VAE) の学習によるイメージ生成

• List of Deep Learning Layer Blocks and Subsystems

• 深層学習ネットワークのコード生成

trainnet 関数またはカスタム学習ループを使用して、自己符号化器に学習させます。

これらのワークフロー用に独自のニューラル ネットワークを設計およびカスタマイズするには、深層学習層の配列または dlnetwork オブジェクトを使用してネットワークを作成します。ニューラル ネットワークの作成と編集を対話形式で行い、コードを生成するには、ディープ ネットワーク デザイナー アプリを使用します。層の一覧については、深層学習層の一覧を参照してください。

詳細については、Transition Legacy Neural Network Code to dlnetwork Workflowsを参照してください。

R2026a: UseGPU オプションを 0 (false) または 1 (true) として指定することは非推奨

UseGPU オプションを数値または logical の 0 (false) または 1 (true) として指定することは推奨されません。代わりに、UseGPU を "off"、"on"、または "auto" に設定してください。

コードを更新する方法を次の表に示します。

非推奨	推奨
trainAutoencoder(X,UseGPU=false) (既定)	trainAutoencoder(X,UseGPU="off") (既定)
trainAutoencoder(X,UseGPU=true)	trainAutoencoder(X,UseGPU="auto")

数値または logical の 0 (false) または 1 (true) のオプションを削除する予定はありません。

参考

trainnet | trainingOptions | dlnetwork

トピック

• Training Neural Networks with Tabular Data
• Training Neural Networks with Time Series Data
• Transition Legacy Neural Network Code to dlnetwork Workflows