解析Adam收敛性的全面框架：与SGD的理论桥接
机器学习
2025-05-21 v5 最优化与控制
摘要
自适应矩估量（Adam）是深度学习中的核心优化算法，因其对自适应学习率的灵活性和处理大规模数据的效率而广受欢迎。然而，尽管其在实际应用中取得了显著成功，Adam的收敛性理论理解仍受到严格假设的制约，例如几乎必然有界的随机梯度或均匀有界的梯度，这些假设比用于分析随机梯度下降（SGD）的假设更为严格。本文引入了一套全新的、综合性的框架，用于分析Adam的收敛性。该框架提供了一种灵活的方法，用于建立Adam的收敛性。具体而言，我们在通常用于SGD的放宽假设下（即L光滑性和ABC不等式），证明了Adam在几乎必然意义上和L_1意义上均实现了渐近（最后一个迭代意义）收敛。同时，在相同的假设下，我们还表明，Adam获得了与SGD类似的非渐近样本复杂度界限。
引用
@article{arxiv.2410.04458,
title = {A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD},
author = {Ruinan Jin and Xiao Li and Yaoliang Yu and Baoxiang Wang},
journal= {arXiv preprint arXiv:2410.04458},
year = {2025}
}