神经网络统计力学表述之旅

如今，神经网络既是强大的操作工具（例如用于模式识别、数据挖掘、纠错码），也是科学研究焦点中的复杂理论模型。就研究分支而言，神经网络由心理学家、神经生物学家、工程师、数学家和理论物理学家处理和研究。特别是在理论物理学中，定量分析神经网络的关键工具是统计力学。从这个角度来看，我们首先回顾吸引子网络：从铁磁体和自旋玻璃模型出发，讨论其背后的哲学思想，并重溯 Hopfield、Amit-Gutfreund-Sompolinsky 所开辟的道路。更进一步，我们强调了 Hopfield 网络（建模检索）与 Boltzmann 机（建模学习）之间的结构等价性，从而在生物和机器人自发认知的两个不可分割的方面之间架起了一座深刻的桥梁。作为旁支，在这次旅程中，我们推导了两种替代（相对于原始的 Hebb 提议）恢复 Hebbian 范式的方法，分别源于铁磁体和自旋玻璃。此外，由于这些笔记是为工程受众构思的，我们还强调了铁磁体与运算放大器之间以及反铁磁体与触发器之间的映射（因为由运算放大器和触发器构建的神经网络是特殊的自旋玻璃，而后者确实是铁磁体和反铁磁体的组合），希望这种桥梁能作为具体的指南，从统计力学的角度捕捉机器人技术之美。