浅層ニューラル ネットワークの参考文献

[Batt92] Battiti, R., “First and second order methods for learning: Between steepest descent and Newton's method,” Neural Computation, Vol. 4, No. 2, 1992, pp. 141–166.

[Beal72] Beale, E.M.L., “A derivation of conjugate gradients,” in F.A. Lootsma, Ed., Numerical methods for nonlinear optimization, London: Academic Press, 1972.

[Bren73] Brent, R.P., Algorithms for Minimization Without Derivatives, Englewood Cliffs, NJ: Prentice-Hall, 1973.

[Caud89] Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

『AI Expert Magazine』に掲載されたこの一連の論文は、ニューラル ネットワークの分野への優れた入門書になっています。これらの論文では、最小限の数学的説明によって主要な成果がわかりやすく説明されています。以降の学習に役立つ推奨文献についての記載も含まれています。

[CaBu92] Caudill, M., and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: The MIT Press, 1992.

これは、ニューラル ネットワークに関する "実践的な" 経験を学生に積ませることを目的とした 2 冊組のワークブックです。大学 4 年生または大学院 1 年生レベルの実習コース向けに書かれています。IBM PC および Apple Macintosh コンピューター用のソフトウェアが付属しています。記述がわかりやすく明確であり、従来は数式に埋もれてしまっていた、この分野の理解に役立ちます。

[Char92] Charalambous, C.,“Conjugate gradient algorithm for efficient training of artificial neural networks,” IEEE Proceedings, Vol. 139, No. 3, 1992, pp. 301–310.

[ChCo91] Chen, S., C.F.N. Cowan, and P.M. Grant, “Orthogonal least squares learning algorithm for radial basis function networks,” IEEE Transactions on Neural Networks, Vol. 2, No. 2, 1991, pp. 302–309.

この論文は、放射基底関数の分野への入門として優れています。これらの論文では、最小限の数学的説明によって主要な成果がわかりやすく説明されています。以降の学習に役立つ推奨文献についての記載も含まれています。

[ChDa99] Chengyu, G., and K. Danai, “Fault diagnosis of the IFAC Benchmark Problem with a model-based recurrent neural network,” Proceedings of the 1999 IEEE International Conference on Control Applications, Vol. 2, 1999, pp. 1755–1760.

[DARP88] DARPA Neural Network Study, Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

この本は、1988 年までに知られていたニューラル ネットワークの知識の要約です。ニューラル ネットワークの理論的基礎を示し、今日における応用について論じています。連想記憶、再帰型ネットワーク、ビジョン、音声認識、およびロボティクスが取り上げられています。最後に、シミュレーション ツールと実装技術について触れています。

[DeHa01a] De Jesús, O., and M.T. Hagan, “Backpropagation Through Time for a General Class of Recurrent Network,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2638–2642.

[DeHa01b] De Jesús, O., and M.T. Hagan, “Forward Perturbation Algorithm for a General Class of Recurrent Network,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2626–2631.

[DeHa07] De Jesús, O., and M.T. Hagan, “Backpropagation Algorithms for a Broad Class of Dynamic Networks,” IEEE Transactions on Neural Networks, Vol. 18, No. 1, January 2007, pp. 14 -27.

この論文は、任意結合型ニューラル ネットワークの勾配とヤコビアンを計算する、詳細なアルゴリズムを提供しています。通時的逆伝播アルゴリズムと実時間再帰学習アルゴリズムの両方が扱われています。

[DeSc83] Dennis, J.E., and R.B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, Englewood Cliffs, NJ: Prentice-Hall, 1983.

[DHH01] De Jesús, O., J.M. Horn, and M.T. Hagan, “Analysis of Recurrent Network Training and Suggestions for Improvements,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2632–2637.

[Elma90] Elman, J.L., "Finding structure in time," Cognitive Science, Vol. 14, 1990, pp. 179–211.

この論文は、Elman ネットワーク (Chapter 10, “Recurrent Networks” で説明) の極めて優れた入門書です。

[FeTs03] Feng, J., C.K. Tse, and F.C.M. Lau, “A neural-network-based channel-equalization strategy for chaos-based communication systems,” IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, Vol. 50, No. 7, 2003, pp. 954–957.

[FlRe64] Fletcher, R., and C.M. Reeves, “Function minimization by conjugate gradients,” Computer Journal, Vol. 7, 1964, pp. 149–154.

[FoHa97] Foresee, F.D., and M.T. Hagan, “Gauss-Newton approximation to Bayesian regularization,” Proceedings of the 1997 International Joint Conference on Neural Networks, 1997, pp. 1930–1935.

[GiMu81] Gill, P.E., W. Murray, and M.H. Wright, Practical Optimization, New York: Academic Press, 1981.

[GiPr02] Gianluca, P., D. Przybylski, B. Rost, P. Baldi, “Improving the prediction of protein secondary structure in three and eight classes using recurrent neural networks and profiles,” Proteins: Structure, Function, and Genetics, Vol. 47, No. 2, 2002, pp. 228–235.

[Gros82] Grossberg, S., Studies of the Mind and Brain, Drodrecht, Holland: Reidel Press, 1982.

この本には、1980 年までの Grossberg による精神生理学の理論的な研究をまとめた論文が掲載されています。各論文に概要説明の序文が付いています。

[HaDe99] Hagan, M.T., and H.B. Demuth, “Neural Networks for Control,” Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp. 1642–1656.

[HaJe99] Hagan, M.T., O. De Jesus, and R. Schultz, “Training Recurrent Networks for Filtering and Control,” Chapter 12 in Recurrent Neural Networks: Design and Applications, L. Medsker and L.C. Jain, Eds., CRC Press, pp. 311–340.

[HaMe94] Hagan, M.T., and M. Menhaj, “Training feed-forward networks with the Marquardt algorithm,” IEEE Transactions on Neural Networks, Vol. 5, No. 6, 1999, pp. 989–993, 1994.

この論文では、最初に開発された、ニューラル ネットワーク用のレーベンバーグ・マルカート法アルゴリズムが報告されています。通常の勾配降下逆伝播法より 10 倍から 100 倍高速にニューラル ネットワークに学習させるアルゴリズムの理論と応用が説明されています。

[HaRu78] Harrison, D., and Rubinfeld, D.L., "Hedonic prices and the demand for clean air," J. Environ. Economics & Management, Vol. 5, 1978, pp. 81-102.

このデータセットは、カーネギーメロン大学で管理されている StatLib ライブラリから取得されました。

[HDB96] Hagan, M.T., H.B. Demuth, and M.H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.

この本では、基本的なニューラル ネットワーク アーキテクチャと学習規則に関するわかりやすく詳細な調査が提供されています。ネットワークの数学的解析、ネットワークへの学習のさせ方、実際の工学的な問題へのネットワークの応用に重点が置かれています。サンプル プログラム、インストラクター用ガイド、授業用の OHP 資料が付属しています。

[HDH09] Horn, J.M., O. De Jesús and M.T. Hagan, “Spurious Valleys in the Error Surface of Recurrent Networks - Analysis and Avoidance,” IEEE Transactions on Neural Networks, Vol. 20, No. 4, pp. 686-700, April 2009.

この論文は、再帰型ネットワークの誤差曲面に現れる偽の谷についての記述です。また、これらの谷に嵌り込まないような学習アルゴリズムの変更方法についても説明しています。

[Hebb49] Hebb, D.O., The Organization of Behavior, New York: Wiley, 1949.

この本では、複数のニューラル ネットワーク アーキテクチャと最初の学習規則が提案されています。学習規則を使用して、セルの収受からどのように概念が形成されるかについて、理論が構築されています。

[Himm72] Himmelblau, D.M., Applied Nonlinear Programming, New York: McGraw-Hill, 1972.

[HuSb92] Hunt, K.J., D. Sbarbaro, R. Zbikowski, and P.J. Gawthrop, Neural Networks for Control System — A Survey,” Automatica, Vol. 28, 1992, pp. 1083–1112.

[JaRa04] Jayadeva and S.A.Rahman, “A neural network with O(N) neurons for ranking N numbers in O(1/N) time,” IEEE Transactions on Circuits and Systems I: Regular Papers, Vol. 51, No. 10, 2004, pp. 2044–2051.

[Joll86] Jolliffe, I.T., Principal Component Analysis, New York: Springer-Verlag, 1986.

[KaGr96] Kamwa, I., R. Grondin, V.K. Sood, C. Gagnon, Van Thich Nguyen, and J. Mereb, “Recurrent neural networks for phasor detection and adaptive identification in power system control and protection,” IEEE Transactions on Instrumentation and Measurement, Vol. 45, No. 2, 1996, pp. 657–664.

[Koho87] Kohonen, T., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

この本では、複数の学習規則が分析されています。さらに、Kohonen 学習規則の紹介と自己組織化特徴マップへの組み込みが行われています。連想ネットワークも研究されています。

[Koho97] Kohonen, T., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.

この本では、自己組織化マップの歴史、基礎、理論、応用、およびハードウェアについて論じています。文献に関する包括的な調査も含まれています。

[LiMi89] Li, J., A.N. Michel, and W. Porod, “Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube,” IEEE Transactions on Circuits and Systems, Vol. 36, No. 11, 1989, pp. 1405–1422.

この論文は、閉超立方体上で定義された 1 階線形微分方程式によって記述されるニューラル ネットワークについて説明しています。考察されている系は、ホップフィールド モデルの基本構造を保持していますが、解析や実装はより容易です。この論文は、漸近的に安定な平衡点のセットと不安定な平衡点のセットを求める効率的な方法を提示しています。複数の例が示されています。Li らの方法は、『ユーザー ガイド』の「高度なトピック」で実装されています。

[Lipp87] Lippman, R.P., "An introduction to computing with neural nets," IEEE ASSP Magazine, 1987, pp. 4–22.

この論文はニューラル ネットの分野への入門書として、パターン分類に使用できる 6 つのニューラル ネット モデルの概要を説明しています。この論文は、既存の分類およびクラスタリングのアルゴリズムが、ニューロンのようなシンプルなコンポーネントを使用してどのように実行されるかを説明しています。非常に読みやすい論文です。

[MacK92] MacKay, D.J.C., “Bayesian interpolation,” Neural Computation, Vol. 4, No. 3, 1992, pp. 415–447.

[Marq63] Marquardt, D., “An Algorithm for Least-Squares Estimation of Nonlinear Parameters,” SIAM Journal on Applied Mathematics, Vol. 11, No. 2, June 1963, pp. 431–441.

[McPi43] McCulloch, W.S., and W.H. Pitts, “A logical calculus of ideas immanent in nervous activity,” Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp. 115–133.

固定のしきい値を持つバイナリ ニューロンのモデルを説明する古典的な論文です。このようなニューロンのネットワークでは、論理演算を実行できます。

[MeJa00] Medsker, L.R., and L.C. Jain, Recurrent neural networks: design and applications, Boca Raton, FL: CRC Press, 2000.

[Moll93] Moller, M.F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, Vol. 6, 1993, pp. 525–533.

[MuNe92] Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404–409.

[NaMu97] Narendra, K.S., and S. Mukhopadhyay, "Adaptive Control Using Neural Networks and Approximate Models," IEEE Transactions on Neural Networks, Vol. 8, 1997, pp. 475–485.

[NaPa91] Narendra, Kumpati S. and Kannan Parthasarathy, "Learning Automata Approach to Hierarchical Multiobjective Analysis," IEEE Transactions on Systems, Man and Cybernetics, Vol. 20, No. 1, January/February 1991, pp. 263–272.

[NgWi89] Nguyen, D., and B. Widrow, “The truck backer-upper: An example of self-learning in neural networks,” Proceedings of the International Joint Conference on Neural Networks, Vol. 2, 1989, pp. 357–363.

この論文は、最初にトラックのダイナミクスを学習させ、次にトラックをローディング ドックの指定位置に戻す方法を学習させた 2 層ネットワークについて説明しています。これを行うには、ニューラル ネットワークによる高度な非線形制御システムの問題の解決が必要でした。

[NgWi90] Nguyen, D., and B. Widrow, "Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights," Proceedings of the International Joint Conference on Neural Networks, Vol. 3, 1990, pp. 21–26.

Nguyen と Widrow によって、2 層シグモイド/線形ネットワークは任意の学習済み関数の区分線形近似を実行していると見なすことができることが示されています。特定の制約を使用して重みとバイアスを生成することにより、初期ネットワークで任意の関数の関数近似をより適切に形成できることが示されています。Nguyen・Widrow 初期条件を (純粋にランダムな初期条件の代わりに) 使用すると、多くの場合、1 桁を上回る学習時間の短縮が見られます。

[Powe77] Powell, M.J.D., "Restart procedures for the conjugate gradient method," Mathematical Programming, Vol. 12, 1977, pp. 241–254.

[Pulu92] Purdie, N., E.A. Lucas, and M.B. Talley, “Direct measure of total cholesterol and its distribution among major serum lipoproteins,” Clinical Chemistry, Vol. 38, No. 9, 1992, pp. 1645–1647.

[RiBr93] Riedmiller, M., and H. Braun, “A direct adaptive method for faster backpropagation learning: The RPROP algorithm,” Proceedings of the IEEE International Conference on Neural Networks, 1993.

[Robin94] Robinson, A.J., "An application of recurrent nets to phone probability estimation," IEEE Transactions on Neural Networks, Vol. 5, No. 2, 1994.

[RoJa96] Roman, J., and A. Jameel, "Backpropagation and recurrent neural networks in financial analysis of multiple stock market returns," Proceedings of the Twenty-Ninth Hawaii International Conference on System Sciences, Vol. 2, 1996, pp. 454–460.

[Rose61] Rosenblatt, F., Principles of Neurodynamics, Washington, D.C.: Spartan Press, 1961.

この本には、パーセプトロンに関して Rosenblatt が得た結果がすべて記載されています。特に、彼の最も重要な結果である "パーセプトロン学習定理" が示されています。

[RuHi86a] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, “Learning internal representations by error propagation,” in D.E. Rumelhart and J.L. McClelland, Eds., Parallel Data Processing, Vol. 1, Cambridge, MA: The M.I.T. Press, 1986, pp. 318–362.

これは、逆伝播についての基本文献です。

[RuHi86b] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, “Learning representations by back-propagating errors,” Nature, Vol. 323, 1986, pp. 533–536.

[RuMc86] Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, Eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MA: The M.I.T. Press, 1986.

この 2 冊には、ニューラル ネットワーク分野への技術的な入門書となる一連の研究論文が掲載されています。節ごとに異なる著者が執筆しています。出版時点までのニューラル ネットワークのほとんどの研究が、これらの論文にまとめられています。

[Scal85] Scales, L.E., Introduction to Non-Linear Optimization, New York: Springer-Verlag, 1985.

[SoHa96] Soloway, D., and P.J. Haley, “Neural Generalized Predictive Control,” Proceedings of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277–281.

[VoMa88] Vogl, T.P., J.K. Mangis, A.K. Rigler, W.T. Zink, and D.L. Alkon, “Accelerating the convergence of the backpropagation method,” Biological Cybernetics, Vol. 59, 1988, pp. 256–264.

バッチ処理、適応学習率、モーメンタムなどの手法を組み合わせることで、逆伝播学習は高速になり、浅い局所的最小値などの誤差曲面の小さな特徴の影響を受けにくくなります。

[WaHa89] Waibel, A., T. Hanazawa, G. Hinton, K. Shikano, and K. J. Lang, "Phoneme recognition using time-delay neural networks," IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 37, 1989, pp. 328–339.

[Wass93] Wasserman, P.D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.

[WeGe94] Weigend, A. S., and N. A. Gershenfeld, eds., Time Series Prediction: Forecasting the Future and Understanding the Past, Reading, MA: Addison-Wesley, 1994.

[WiHo60] Widrow, B., and M.E. Hoff, “Adaptive switching circuits,” 1960 IRE WESCON Convention Record, New York IRE, 1960, pp. 96–104.

[WiSt85] Widrow, B., and S.D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.

適応信号処理の基本的な論文です。