稳定性边缘处 Adam 的杆流模型

Cohen et al. (arXiv:2207.14484) 观察到，诸如 Adam 之类的自适应梯度方法在稳定性边缘运行。虽然关于稳定性边缘处梯度下降的连续时间建模已有大量工作，但将这些模型扩展到动量方法仍不完善。在梯度下降设定中，Regis et al. (arXiv:2602.01480) 引入了杆流，将连续迭代建模为一个扩展的一维对象——“杆”。在这里，我们通过在参数和一阶矩 $(w, m)$ 的联合相空间中工作，并将二阶矩 $\nu$ 视为平滑辅助变量，将杆流扩展到 Adam。我们还开发了针对重球动量、Nesterov 动量以及 RMSProp、Adam 和 NAdam 的标量和分组件版本的杆流。对于所有八种优化器，我们在具有代表性的机器学习架构上实证评估了杆流，与相应的稳定流相比，它在稳定性边缘机制中更准确地跟踪离散迭代。