SGD的精确均方线性稳定性分析

优化方法在损失极小值附近的动力学稳定性近来引起了显著关注。对于梯度下降(GD)，只有在相对于步长足够平坦的极小值处才可能稳定收敛，而这些极小值已被关联到训练模型的良好性质。然而，尽管GD的稳定性阈值已为人所知，迄今为止尚未推导出随机GD(SGD)精确阈值的显式表达式。本文中，我们推导了这样一个闭式表达式。具体而言，我们给出了关于步长的显式条件，该条件对于SGD在均方意义下的线性稳定性既是必要的也是充分的。我们的分析阐明了批大小$B$的精确作用。特别地，我们证明稳定性阈值在批大小上单调非减，这意味着减小批大小只会降低稳定性。此外，我们证明SGD的稳定性阈值等价于一个混合过程的阈值，该过程在每次迭代中以概率$1-p$取全批量梯度步、以概率$p$取单样本梯度步，其中$p \approx 1/B$。这表明即使使用中等批大小，SGD的稳定性阈值也非常接近GD的阈值。我们还证明了线性稳定性的简单必要条件，其依赖于批大小，且比精确阈值更易于计算。最后，我们推导了极小值附近动力学的渐近协方差，并讨论了其对学习率的依赖。我们通过MNIST数据集上的实验验证了理论发现。