诺特定律学习动力学：对称性破缺在神经网络中的作用

在自然界中，对称性支配着规律性，而对称性破缺带来纹理。在人工神经网络中，对称性一直是高效捕捉世界规律性的核心设计原则，但对称性破缺的作用尚不被很好理解。在此，我们发展了一个理论框架来研究神经网络中的“学习动力学几何”，并揭示了现代神经网络效率与稳定性背后的显式对称性破缺的关键机制。为建立此理解，我们使用连续时间拉格朗日公式对梯度下降的离散学习动力学建模，其中学习规则对应于动能，损失函数对应于势能。接着，我们识别出“动力学对称性破缺”（KSB），即动能显式打破势能对称性的条件。我们将物理学中已知的诺特定理推广以考虑 KSB，并推导出诺特电荷的相应运动：“诺特定律学习动力学”（NLD）。最后，我们将 NLD 应用于带归一化层的神经网络，揭示 KSB 如何引入一种“隐式自适应优化”机制，建立了由归一化层诱导的学习动力学与 RMSProp 之间的类比。总体而言，通过拉格朗日力学的视角，我们为发现神经网络学习动力学的几何设计原则建立了理论基础。