浅層ニューラル ネットワークの用語

A  B  C  D  E  F  G  H  I  J  K  L  M  N  O  P  Q  R  S  T  U  V  W  X  Y  Z  

ADALINE

次の線形ニューロンの頭字語。適応線形要素 (ADAptive LINear Element)。

adaption (適応)

指定された入力シーケンスにより実施される学習方法。入力が与えられると、シーケンス内の各入力ベクトルについて出力、誤差、およびネットワーク調整を計算します。

adaptive filter (適応フィルター)

遅延が含まれ、新しい入力ベクトルが与えられるたびに重みが調整されるネットワーク。入力信号プロパティの変化が発生すると、ネットワークはその変化に適応します。長距離電話回線でエコーを除去するために、この種のフィルターが使用されます。

adaptive learning rate (適応学習率)

学習時間を最小化するために、学習時のアルゴリズムに従って調整される学習率。

architecture (アーキテクチャ)

ニューラル ネットワークの層の数、各層の伝達関数、層ごとのニューロンの数、および層と層の結合の記述。

backpropagation learning rule (逆伝播学習規則)

ネットワークを通じて逆伝播される誤差 - 微分 (デルタ) ベクトルによって重みとバイアスが調整される学習規則。逆伝播は通常、フィードフォワード多層ネットワークに適用されます。この規則は、"一般化デルタ則" と呼ばれることもあります。

backtracking search (バックトラッキング探索)

ステップ乗数 1 から開始し、許容可能な性能の低下が得られるまでバックトラッキングを行う線形探索ルーチン。

batch (バッチ)

ネットワークに同時に適用される、入力 (またはターゲット) ベクトルの行列。ネットワークの重みとバイアスの変更は、入力行列の一連のベクトル全体に対して 1 回だけ行われます ("バッチ" という用語は、よりわかりやすい "同時ベクトル" という表現に置き換えられつつあります)。

batching (バッチ処理)

出力ベクトルや新しい重みとバイアスから成る行列の同時計算のために、一連の入力ベクトルを与えるプロセス。

Bayesian framework (ベイズ フレームワーク)

ネットワークの重みとバイアスが、指定の分布を持つ確率変数であると仮定します。

BFGS quasi-Newton algorithm (BFGS 準ニュートン アルゴリズム)

ニュートンの最適化アルゴリズムのバリエーション。アルゴリズムの反復のたびに勾配が計算され、その勾配からヘッセ行列の近似が得られます。

bias (バイアス)

ニューロンのパラメーター。ニューロンの重み付けされた入力と合計され、ニューロンの伝達関数に渡されて、ニューロンの出力が生成されます。

bias vector (バイアス ベクトル)

ニューロンの層のバイアス値から成る列ベクトル。

Brent's search (ブレントの探索)

黄金分割探索と二次内挿を合成した線形探索。

cascade-forward network (カスケードフォワード ネットワーク)

各層が前の層からの入力のみを受け取る、層状のネットワーク。

Charalambous' search (Charalambous の探索)

3 次内挿と分割の一種を組み合わせて使用するハイブリッド直線探索。

classification (分類)

入力ベクトルと特定のターゲット ベクトルの関連付け。

competitive layer (競合層)

最大正味入力を持つニューロンの出力のみが 1 であり、他のすべてのニューロンの出力が 0 であるニューロンの層。与えられた入力ベクトルに応答する権利を得るために、ニューロンが競合します。

competitive learning (競合学習)

instar 規則または Kohonen 規則を使用する、競合層の教師なし学習。個々のニューロンが特徴検出器になるように学習を行います。学習後、層はそのニューロンによって入力ベクトルの分類を行います。

competitive transfer function (競合伝達関数)

層に対する正味入力ベクトルを受け入れて、勝者、つまり正味入力 n の最大の正の要素に関連付けられたニューロン、を除くすべてのニューロンに対して 0 のニューロン出力を返します。

concurrent input vectors (同時入力ベクトル)

ネットワークに同時に与えられる入力ベクトルから成る行列の名称。行列内のすべてのベクトルを使用して、重みとバイアスの変更が 1 セットのみ行われます。

conjugate gradient algorithm (共役勾配法アルゴリズム)

共役勾配法アルゴリズムでは、共役方向に沿って探索が実行されます。一般的に、最急降下方向に沿った探索より高速に収束します。

connection (結合)

ネットワーク内のニューロン間の一方向のリンク。

connection strength (結合強度)

ネットワーク内の 2 つのニューロンのリンクの強度。強度は通常、重みと呼ばれ、1 つのニューロンが別のニューロンに与える影響を決定します。

cycle (サイクル)

入力ベクトルを 1 回与え、出力、および新しい重みとバイアスを計算すること。

dead neuron (デッド ニューロン)

学習時の競合に勝つことがなく、有益な特徴検出器になることがない競合層のニューロン。デッド ニューロンは、どの学習ベクトルにも応答しません。

decision boundary (判定境界)

正味入力 n が 0 である重みベクトルおよびバイアス ベクトルによって決定される線。

delta rule (デルタ規則)

Widrow-Hoff 学習規則を参照してください。

delta vector (デルタ ベクトル)

層のデルタ ベクトルは、その層の正味入力ベクトルに対するネットワークの出力誤差の微分です。

distance (距離)

ニューロン間の距離。距離関数を使用して、ニューロンの位置から計算されます。

distance function (距離関数)

2 つのベクトル間のユークリッド距離など、距離の特定の計算方法。

early stopping (早期停止)

3 つのサブセットへのデータの分割に基づいた手法。1 つ目のサブセットは学習セットです。これは勾配の計算とネットワークの重みとバイアスの更新に使用されます。2 つ目のサブセットは検証セットです。検証誤差が、指定した反復回数にわたって増加すると、学習は停止し、検証誤差の最小値での重みとバイアスが返されます。3 つ目のサブセットはテスト セットです。これは、ネットワーク設計を検証するために使用されます。

epoch (エポック)

ネットワークに一連の学習 (入力やターゲット) ベクトルを与えて、新しい重みとバイアスを計算すること。学習ベクトルは、その都度 1 つずつでも、一度にすべてまとめて与えることもできることに注意してください。

error jumping (誤差の急上昇)

学習時におけるネットワークの残差平方和の突然の増加。多くの場合、学習率が大きすぎることが原因で発生します。

error ratio (誤差比)

逆伝播ネットワークの適応学習率およびモーメンタム学習に使用される学習パラメーター。

error vector (誤差ベクトル)

入力ベクトルに対するネットワークの出力ベクトルと、関連付けられたターゲット出力ベクトルの差。

feedback network (フィードバック ネットワーク)

層の出力がその層の入力に接続しているネットワーク。フィードバック接続は、直接接続の場合と、複数の層を経由する場合があります。

feedforward network (フィードフォワード ネットワーク)

各層が前の層からの入力のみを受け取る、層状のネットワーク。

Fletcher-Reeves update (Fletcher・Reeves 更新法)

一連の共役方向の計算方法。これらの方向は、共役勾配最適化手順の中で、探索方向として使用されます。

function approximation (関数近似)

入力に目的の関数の近似で応答するように学習されたネットワークによって実行されるタスク。

generalization (汎化)

新しい入力ベクトルに対する出力が、学習セット内の類似の入力ベクトルに対する出力に近くなる傾向がある、ネットワークの属性。

generalized regression network (一般回帰ネットワーク)

十分な数の隠れニューロンが与えられている場合に、連続関数を任意の精度で近似します。

global minimum (大域的最小値)

入力パラメーターの全範囲での関数の最小値。ネットワークの誤差の大域的最小値を求めるために、勾配降下法によって重みとバイアスが調整されます。

golden section search (黄金分割探索)

傾きの計算を必要としない線形探索。探索の反復のたびに性能最小値を含む区間が再分割され、反復のたびに再分割された一方が削除されます。

gradient descent (勾配降下法)

重みとバイアスに変更を加えるプロセス。変更は、これらの重みとバイアスに対するネットワーク誤差の微分に比例します。これによって、ネットワーク誤差が最小化されます。

hard-limit transfer function (ハードリミット伝達関数)

0 以上の入力を 1 に、他のすべての値を 0 にマッピングする伝達関数。

Hebb learning rule (Hebb 学習規則)

最初に提案されたニューロンの学習規則。重み付け前のニューロンと重み付け後のニューロンの出力の積に比例して、重みが調整されます。

hidden layer (隠れ層)

ネットワーク出力に結合されていないネットワークの層 (2 層フィードフォワード ネットワークの最初の層など)。

home neuron (ホーム ニューロン)

近傍の中心にあるニューロン。

hybrid bisection-cubic search (ハイブリッド 2 分法 3 次探索)

2 分法と 3 次内挿を組み合わせた直線探索。

initialization (初期化)

ネットワークの重みとバイアスを元の値に設定するプロセス。

input layer (入力層)

ネットワークの外部から入力を直接受け取るニューロンの層。

input space (入力空間)

可能性のあるすべての入力ベクトルの範囲。

input vector (入力ベクトル)

ネットワークに与えられるベクトル。

input weight vector (入力重みベクトル)

ニューロンに与えられる重みの行ベクトル。

input weights (入力重み)

ネットワーク入力を層に結合する重み。

Jacobian matrix (ヤコビ行列)

ネットワーク誤差の、その重みとバイアスについての 1 階微分を含みます。

Kohonen learning rule (Kohonen 学習規則)

現在の入力ベクトルの値を取るように、選択されたニューロンの重みベクトルの学習に使用される学習規則。

layer (層)

同じ入力に結合しており、同じ出力先に送るニューロンのグループ。

layer diagram (層の図)

層と、これらの層を結合する重み行列を示す、ネットワーク アーキテクチャの図。各層の伝達関数は記号で示されます。入力、出力、バイアス、重み行列のサイズが表示されます。個々のニューロンと結合は表示されません

layer weights (層の重み)

層を他の層に結合する重み。これらの重みが再帰的な結合 (ループなど) を形成する場合、非ゼロの遅延が必要です。

learning (学習)

何らかの目的のネットワーク動作を実現するように、重みとバイアスが調整されるプロセス。

learning rate (学習率)

学習時の重みとバイアスの変更量を制御する学習パラメーター。

learning rule (学習規則)

ネットワーク内で行われるであろうすぐ次の変更を導出する方法、"つまり" ネットワークの重みとバイアスを変更する手順。

Levenberg-Marquardt (レーベンバーグ・マルカート法)

通常の勾配降下逆伝播法より 10 倍から 100 倍高速にニューラル ネットワークの学習に使用されるアルゴリズム。常に、n 行 n 列の次元の近似ヘッセ行列が計算されます。

line search function (直線探索関数)

与られた探索方向 (直線) に沿って探索を行い、ネットワーク性能の最小値を求める手順。

linear transfer function (線形伝達関数)

入力を出力として生成する伝達関数。

link distance (リンク距離)

考慮するニューロンに到達するために必要なリンク数 (ステップ数)。

local minimum (局所的最小値)

限定された範囲の入力値に対する関数の最小値。局所的最小値と大域的最小値は異なる場合があります。

log-sigmoid transfer function (対数シグモイド伝達関数)

入力を区間 (0,1) にマッピングする、以下に示す形式のスカッシング関数 (ツールボックス関数は logsig です)。

$$f(n)=\frac{1}{1+e^{-n}}$$

Manhattan distance (マンハッタン距離)

2 つのベクトル x と y の間のマンハッタン距離は次のように計算されます。

D = sum(abs(x-y))

maximum performance increase (性能の最大増加量)

可変学習率学習アルゴリズムの 1 回の反復で可能な性能の最大増加量。

maximum step size (最大ステップ サイズ)

線形探索時に可能な最大ステップ サイズ。学習アルゴリズムの 1 回の反復で、重みベクトルの大きさがこの最大ステップ サイズを超えて増加することはできません。

mean square error function (平均二乗誤差関数)

ネットワーク出力 a とターゲット出力 t の平均二乗誤差を計算する性能関数。

momentum (モーメンタム)

逆伝播ネットワークが浅い位置にある局所的最小値に陥らないようにするためによく使用される手法。

momentum constant (モーメンタム定数)

モーメンタムの使用量を抑制する学習パラメーター。

mu parameter (ミュー パラメーター)

スカラー µ の初期値。

neighborhood (近傍)

特定のニューロンから指定された距離内にあるニューロンのグループ。近傍は、勝者ニューロン i* の半径 d 内にあるすべてのニューロンのインデックスによって指定されます。

Ni(d) = {j,d_ij ≤ d}

net input vector (正味入力ベクトル)

1 つの層内での、層のすべての重み付けされた入力ベクトルと、そのバイアスの組み合わせ。

neuron (ニューロン)

ニューラル ネットワークの基本的な処理要素。重みとバイアス、サミング ジャンクション、および出力伝達関数が含まれます。このツールボックスを使用してシミュレーションと学習が行われるニューロンなどの人工ニューロンは、生体ニューロンを抽象化したものです。

neuron diagram (ニューロンの図)

ニューロンと、これらのニューロンを結合する重みを示す、ネットワーク アーキテクチャの図。各ニューロンの伝達関数は記号で示されます。

ordering phase (順序付けフェーズ)

ニューロンの重みが、関連するニューロンの位置と一致するように入力空間において順序付けられることが想定される、学習段階。

output layer (出力層)

出力がネットワークの外部に渡される層。

output vector (出力ベクトル)

ニューラル ネットワークの出力。出力ベクトルの各要素はニューロンの出力です。

output weight vector (出力重みベクトル)

ニューロンまたは入力から得られる重みの列ベクトル (outstar 学習規則も参照してください)。

outstar learning rule (outstar 学習規則)

重み付け後の層の現在の出力ベクトルの値を取るように、ニューロンの (または入力の) 出力重みベクトルの学習に使用される学習規則。重みの変更量はニューロンの出力に比例します。

overfitting (過適合)

学習セットの誤差は非常に小さい値になるが、新しいデータがネットワークに与えられた場合のその誤差が大きいという状態。

pass (パス)

学習の入力ベクトルおよびターゲット ベクトルをすべて 1 回使用すること。

pattern (パターン)

1 つのベクトル。

pattern association (パターンの関連付け)

与えられた各入力ベクトルに正しい出力ベクトルで応答するように学習させたネットワークによって実行されるタスク。

pattern recognition (パターン認識)

学習済みのベクトルに近い入力ベクトルが与えられたときに応答するように学習させたネットワークによって実行されるタスク。ネットワークは、入力を元のターゲット ベクトルの 1 つとして "認識" します。

perceptron (パーセプトロン)

ハードリミット伝達関数を使用する単層ネットワーク。多くの場合、このネットワークの学習にはパーセプトロン学習規則が使用されます。

perceptron learning rule (パーセプトロン学習規則)

単層ハードリミット ネットワークの学習に使用される学習規則。ネットワークにその能力がある場合、有限時間内に完全に機能するネットワークが得られることが保証されます。

performance (性能)

ネットワークの動作。

performance function (性能関数)

通常、ネットワーク出力の平均二乗誤差のこと。ただし、ツールボックスでは他の性能関数を考える場合もあります。性能関数の一覧については、help nnperformance と入力してください。

Polak-Ribiére update (Polak・Ribiére 更新法)

一連の共役方向の計算方法。これらの方向は、共役勾配最適化手順の中で、探索方向として使用されます。

positive linear transfer function (正の線形伝達関数)

負の入力に対しては 0 の出力を生成し、正の入力に対しては入力と等しい出力を生成する伝達関数。

postprocessing (後処理)

正規化された出力を変換して、元のターゲットに使用されたものと同じ単位に戻します。

Powell-Beale restarts (Powell・Beale リスタート)

一連の共役方向の計算方法。これらの方向は、共役勾配最適化手順の中で、探索方向として使用されます。さらにこの手順では、探索方向を負の勾配へ定期的にリセットします。

preprocessing (前処理)

入力データまたはターゲット データを、ニューラル ネットワークに与える前に変換すること。

principal component analysis (主成分分析)

ネットワークの入力ベクトルの成分を直交化すること。この手順では、冗長な成分を取り除くことによって、入力ベクトルの次元を減らすこともできます。

quasi-Newton algorithm (準ニュートン アルゴリズム)

ニュートン法に基づく最適化アルゴリズムのクラス。勾配に基づいて、アルゴリズムの反復のたびに近似ヘッセ行列が計算されます。

radial basis networks (放射基底ネットワーク)

特殊応答要素をそれらが最も適切に機能するように当てはめることで、直接設計が可能なニューラル ネットワーク。

radial basis transfer function (放射基底伝達関数)

放射基底ニューロンに対する伝達関数は、次のとおりです。

$$radbas(n)=e^{-n^2}$$

regularization (正則化)

ネットワークの重みの二乗を何割か加算することによる性能関数の修正。性能関数は通常、学習セットに対するネットワーク誤差の平方和となるように選択されます。

resilient backpropagation (弾性逆伝播法)

シグモイド スカッシング伝達関数の両端の小さな傾きによる悪影響を排除する学習アルゴリズム。

saturating linear transfer function (飽和線形伝達関数)

区間 (-1,+1) で線形な関数。この区間の外側では -1 または +1 に飽和します (ツールボックス関数は satlin です)。

scaled conjugate gradient algorithm (スケーリング共役勾配法アルゴリズム)

標準の共役勾配法アルゴリズムで行われる、時間のかかる直線探索を回避します。

sequential input vectors (逐次入力ベクトル)

ネットワークに 1 つずつ与えられる一連のベクトル。ネットワークの重みとバイアスは、入力ベクトルの提供ごとに調整されます。

sigma parameter (シグマ パラメーター)

スケーリング共役勾配法アルゴリズムで近似ヘッセ行列を計算する際に、重みの変更量を決定します。

sigmoid (シグモイド)

区間 (-∞,∞) の数値を (-1,+1) や (0,1) などの有限区間にマッピングする単調 S 形関数。

simulation (シミュレーション)

ネットワーク入力 p およびネットワーク オブジェクト net を取り、ネットワーク出力 a を返します。

spread constant (広がり定数)

0.5 という出力を生成するために必要な、ニューロンの重みベクトルから入力ベクトルまでの距離。

squashing function (スカッシング関数)

-∞ ～ +∞ の範囲の入力値を取り、有限区間の値を返す単調増加関数。

star learning rule (star 学習規則)

現在の入力ベクトルの値を取るように、ニューロンの重みベクトルの学習に使用される学習規則。重みの変更量はニューロンの出力に比例します。

sum-squared error (残差平方和)

与えられた入力ベクトルまたは一連のベクトルに対する、ネットワークのターゲットと実際の出力の差の二乗和。

supervised learning (教師あり学習)

ネットワークの重みとバイアスの変更が外部の教師の介入によって発生する学習プロセス。通常、教師が出力ターゲットを提供します。

symmetric hard-limit transfer function (対称ハードリミット伝達関数)

0 以上の入力を +1 に、他のすべての値を -1 にマッピングする伝達関数。

symmetric saturating linear transfer function (対称飽和線形伝達関数)

入力が -1 ～ 1 の範囲にある限り、入力を出力として生成します。この範囲外では、出力はそれぞれ -1 および +1 になります。

tan-sigmoid transfer function (正接シグモイド伝達関数)

入力を区間 (-1,1) にマッピングする、以下に示す形式のスカッシング関数 (ツールボックス関数は tansig です)。

$$f(n)=\frac{1}{1+e^{-n}}$$

tapped delay line (タップ付き遅延線)

各遅延出力時に利用可能な出力を伴う、一連の逐次遅延。

target vector (ターゲット ベクトル)

与えられた入力ベクトルに対する目的の出力ベクトル。

test vectors (テスト ベクトル)

(学習に直接使用されるのではなく) 学習済みのネットワークのテストに使用される一連の入力ベクトル。

topology functions (トポロジ関数)

ニューロンをグリッド、ボックス、六角形、ランダム トポロジに配置する方法。

training (学習)

特定のジョブを行うようにネットワークを調整する手順。適応学習で行われるような、各時間間隔で実行される調整とは異なり、通常はオフライン ジョブと見なされます。

training vector (学習ベクトル)

ネットワークの学習に使用される入力ベクトルやターゲット ベクトル。

transfer function (伝達関数)

ニューロン (または層) の正味出力 n を実際の出力にマッピングする関数。

tuning phase (調整フェーズ)

SOFM 学習期間。この間重みは、順序付けフェーズで求められたトポロジカル順序を保持したまま、入力空間に比較的均等に広がることが期待されます。

underdetermined system (劣決定システム)

制約より変数が多いシステム。

unsupervised learning (教師なし学習)

ネットワークの重みとバイアスの変更が外部の教師の介入以外によって発生する学習プロセス。変更量は通常、現在のネットワークの入力ベクトル、出力ベクトル、および前の重みとバイアスの関数になります。

update (更新)

重みとバイアスを変更すること。更新は、1 つの入力ベクトルが与えられたか、複数の入力ベクトルにおける変更が累積した後に発生します。

validation vectors (検証ベクトル)

学習の進行状況を監視してネットワークの過適合を防ぐために使用される、(学習は直接使用されない) 一連の入力ベクトル。

weight function (重み関数)

重み関数は、特定の関数による指定に従って、入力に重みを適用して重み付けされた入力を返します。

weight matrix (重み行列)

層の入力からニューロンへの結合強度が含まれる行列。重み行列 W の要素 w_i,j は、入力 j からニューロン i への結合強度を表します。

weighted input vector (重み付き入力ベクトル)

層の入力 (ネットワーク入力または別の層の出力) に重みを適用した結果。

Widrow-Hoff learning rule (Widrow-Hoff 学習規則)

単層線形ネットワークの学習に使用される学習規則。この規則は逆伝播規則の前身であり、デルタ規則と呼ばれることもあります。