超越二次势能：GD 与 SGD 非线性动力学的稳定性分析
机器学习
2026-02-17 v1 机器学习
摘要
训练过程中迭代的动力学稳定性在决定优化算法获得的最小值方面发挥关键作用。例如，梯度下降（GD）的稳定解对应平坦的最小值，已与有利的特征相关。虽然先前工作常依赖线性化来确定稳定性，但线性化的动力学是否忠实地捕捉到完整的非线性行为仍不明确。最近的研究表明，GD可能在线性不稳定的最小值附近稳定振荡，并在步长衰减后仍能收敛，表明线性分析可能误导。本文明确研究非线性项的影响。具体而言，我们推导了GD在多变量情形下稳定振荡的精确准则。该条件依赖高阶导数，概括了现有结果。将分析扩展到随机梯度下降（SGD），我们表明即使单个小批次不稳定，SGD的非线性动力学也可能在期望值上发散。这意味着稳定性可以由单个振荡不稳定的小批次决定，而非如线性分析所暗示的平均效应。最后，我们证明如果所有小批次都线性稳定，SGD的非线性动力学在期望值上是稳定的。
引用
@article{arxiv.2602.14789,
title = {On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials},
author = {Rotem Mulayoff and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2602.14789},
year = {2026}
}
备注
Preprint