SGD 噪声的对齐性质及其如何帮助选择平坦极小值：一种稳定性分析

随机梯度下降（SGD）偏好平坦极小值的现象在理解 SGD 的隐式正则化中起到了关键作用。在本文中，我们通过将 SGD 特有的噪声结构与其线性稳定性（Wu 等人，2018）相联系，对这一现象给出解释。具体而言，我们考虑使用平方损失训练过参数化模型。我们证明，若一个全局极小值 $\theta^*$ 对 SGD 是线性稳定的，则它必须满足 $\|H(\theta^*)\|_F\leq O(\sqrt{B}/\eta)$，其中 $\|H(\theta^*)\|_F, B,\eta$ 分别表示 $\theta^*$ 处 Hessian 的 Frobenius 范数、批量大小和学习率。否则，SGD 将从这个极小值以指数级速度逃离。因此，对于 SGD 可到达的极小值，其由 Hessian 的 Frobenius 范数度量的锐度独立于模型规模和样本规模而有界。获得这些结果的关键在于利用 SGD 噪声的特殊结构：噪声集中于局部地形的尖锐方向，且其幅度与损失值成正比。SGD 噪声的这种对齐性质在线性网络和随机特征模型（RFMs）中被证明成立，并在非线性网络中得到经验验证。此外，我们在 CIFAR-10 数据集上的大量实验也佐证了理论发现的有效性与实际相关性。