Adam 与 RMSProp 收敛的一个充分条件
机器学习
2019-06-26 v3 计算机视觉与模式识别
数值分析
最优化与控制
机器学习
摘要
Adam 和 RMSProp 是用于训练深度神经网络最具影响力的两种自适应随机算法，但已有若干简单反例指出它们即使在凸设定下也会发散。许多尝试，如减小自适应学习率、采用大批量大小、引入时间去相关技术、寻找类似替代等，已被用来促使 Adam/RMSProp 型算法收敛。与现有方法不同，我们引入了一个易于检验的替代充分条件，它仅依赖于基础学习率参数和历史二阶矩的组合，以保证通用 Adam/RMSProp 在求解大规模非凸随机优化时的全局收敛。此外，我们表明若干 Adam 变体（如 AdamNC、AdaEMA 等）的收敛性在非凸设定下可直接由所提充分条件推出。另外，我们阐明 Adam 本质上是一种带有指数移动平均动量的特定加权 AdaGrad，这为理解 Adam 和 RMSProp 提供了新视角。该观察结合此充分条件对它们的发散给出了更深层的解释。最后，我们将 Adam 和 RMSProp 应用于某个反例并训练深度神经网络来验证该充分条件。数值结果与我们理论分析完全一致。
引用
@article{arxiv.1811.09358,
title = {A Sufficient Condition for Convergences of Adam and RMSProp},
author = {Fangyu Zou and Li Shen and Zequn Jie and Weizhong Zhang and Wei Liu},
journal= {arXiv preprint arXiv:1811.09358},
year = {2019}
}
备注
Accepted by CVPR2019 as an Oral presentation