无界梯度与仿射方差噪声下 Adam 的高概率收敛

本文研究自适应矩估计（Adam）算法在无约束非凸光滑随机优化下的收敛性。尽管 Adam 在机器学习领域被广泛使用，其理论性质仍很有限。先前的研究主要从期望视角考察 Adam 的收敛性，常常需要强假设，如一致随机有界梯度或事先依赖问题的知识。因此，这些发现在实际现实场景中的适用性受到限制。为克服这些局限，我们进行了深入分析，并证明在坐标wise“仿射”方差噪声下，Adam 能以 $\mathcal{O}\left({\rm poly}(\log T)/\sqrt{T}\right)$ 的速率高概率收敛到驻点，且不需要任何有界梯度假设以及事先依赖问题的知识来调整超参数。此外，揭示出 Adam 将其梯度幅值限制在 $\mathcal{O}\left({\rm poly}(\log T)\right)$ 的量级内。最后，我们还研究了不含某一修正项的 Adam 简化版本，并获得了自适应于噪声水平的收敛速率。