随机梯度下降的噪声平衡与平稳分布

随机梯度下降（SGD）算法是我们用于训练神经网络的算法。然而，SGD 如何在不高度非线性和退化的神经网络损失地形中导航仍知之甚少。本工作中，我们表明只要损失函数包含重缩放参数对称性，SGD 的小批量噪声就会将解正则化至噪声平衡解。由于简单扩散过程与 SGD 动力学之间的差异在存在对称性时最为显著，我们的理论意味着损失函数对称性构成了探测 SGD 运作机制的本质探针。我们随后将这一结果应用于推导任意深度与宽度的对角线性网络上随机梯度流的平稳分布。该平稳分布展现出如相变、遍历性破缺和涨落反转等复杂非线性现象。这些现象被证明仅存在于深度网络中，意味着深度与浅层模型之间的根本差异。