自适应梯度方法在光滑非凸优化中的渐近收敛与稳定性
最优化与控制
2026-01-06 v1
摘要
自适应梯度方法如 AdaGrad 已成为深度学习中的基本工具。尽管其应用广泛，但 AdaGrad 在非凸情形下的渐近收敛性仍然 poorly 理解。本文对 AdaGrad-Norm 在光滑非凸优化中的渐近收敛进行首次严格分析。我们提出一种新颖的停止时间分区技术，建立关键稳定性结果：目标函数值在期望意义下保持有界，迭代序列几乎必然有界，前提是满足温和的 coercivity 假设。基于这些稳定性结果，我们证明 AdaGrad-Norm 实现了几乎sure 收敛和均方收敛。进一步，我们将分析推广到 RMSProp，证明在适当的超参数选择下，其同样具备稳定性和渐近收敛性。本文所develop的技术可能对分析其他自适应随机优化算法具有独立的价值。
引用
@article{arxiv.2601.01853,
title = {Asymptotic Convergence and Stability of Adaptive Gradient Methods in Smooth Non-convex Optimization},
author = {Ruinan Jin and Xiaoyu Wang},
journal= {arXiv preprint arXiv:2601.01853},
year = {2026}
}
备注
32 pages