缩小 Adam 迭代复杂度上界与下界之间的差距
机器学习
2023-10-30 v1 最优化与控制
摘要
最近,Arjevani 等人 [1] 在 -光滑条件和有界噪声方差假设下,建立了的一阶优化迭代复杂度的下界。然而,对现有关于 Adam 收敛性的文献进行详尽回顾后发现一个显著差距:它们均未达到上述下界。在本文中,我们通过在仅有的 -光滑条件和有界噪声方差假设下推导出 Adam 的新收敛保证,填补了这一差距。我们的结果在广泛的超参数范围内均成立。特别是在恰当选取超参数时,我们推导出了 Adam 迭代复杂度的上界,并证明其达到一阶优化器的下界。据我们所知,这是首个为 Adam 收敛建立如此紧的上界的工作。我们的证明使用了新技术来处理动量与自适应学习率之间的纠缠,并将下降引理中的一阶项转化为梯度范数,这本身可能具有独立的意义。
引用
@article{arxiv.2310.17998,
title = {Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity},
author = {Bohan Wang and Jingwen Fu and Huishuai Zhang and Nanning Zheng and Wei Chen},
journal= {arXiv preprint arXiv:2310.17998},
year = {2023}
}
备注
NeurIPS 2023 Accept