Adam-HNAG：带加速速率的 Adam 方法的收敛性重新表述
最优化与控制
2026-04-13 v1 机器学习
摘要
Adam 取得了强大的经验成功，但其理论即使在确定性全批设置下也不完整，主要因为自适应 preconditioning 和动量紧密耦合。在本工作中，发展了 Adam-HNAG 的一种收敛性重新表述，通过结合变量分离和算子分离，引入曲率感知梯度校正。这导致一个具有指数衰减 Lyapunov 函数的连续时间 Adam-HNAG 流动，以及两种离散方法：Adam-HNAG 和 Adam-HNAG-s，后者是一种更接近 Adam 的同步变体。在统一的 Lyapunov 分析框架内，为两种方法在凸光滑设置下建立了收敛保证，包括加速收敛。数值实验支持理论并说明两种离散化的不同经验行为。据我们所知，这提供了 Adam 类型方法在凸优化中首个收敛性证明。
关键词
引用
@article{arxiv.2604.08742,
title = {Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate},
author = {Yaxin Yu and Long Chen and Zeyi Xu},
journal= {arXiv preprint arXiv:2604.08742},
year = {2026}
}
备注
27 pages, 4 figures