随机梯度下降的参数对称性与噪声平衡

对称性在深度学习中普遍存在，并能显著影响神经网络的学习动力学。在本文中，我们研究了指数对称性——模型架构或损失函数中存在的一类广泛的连续对称性——如何与随机梯度下降（SGD）相互作用。我们首先证明，梯度噪声会产生参数$\theta$沿退化方向到一个唯一的、与初始化无关的不动点$\theta^*$的系统性运动（“Noether流”）。这些点被称为“噪声平衡点”，因为在这些点上，来自不同方向的噪声贡献是平衡且对齐的。然后，我们表明梯度噪声的平衡与对齐可以作为一种新颖的替代机制，用于解释神经网络中的重要现象，如逐步锐化/平坦化以及表征形成，并对理解表征归一化和预热等技术具有实际意义。