ADOPT：修正版 Adam 可在任意 $\beta_2$ 下以最优速率收敛
机器学习
2024-11-25 v3 机器学习
摘要
Adam 是深度学习中最流行的优化算法之一。然而，已知 Adam 在理论上不收敛，除非以问题相关的方式选择一个超参数，即 。已有许多尝试修复其非收敛问题（例如 AMSGrad），但它们需要梯度噪声均匀有界这一不切实际的假设。在本文中，我们提出了一种新的自适应梯度方法 ADOPT，它在不依赖有界噪声假设的情况下，以任意 选择达到最优收敛速率 。ADOPT 通过从二阶矩估计中移除当前梯度，并改变动量更新与二阶矩估计归一化的顺序来解决 Adam 的非收敛问题。我们还进行了大量数值实验，验证了 ADOPT 在广泛任务上（包括图像分类、生成建模、自然语言处理和深度强化学习）相较于 Adam 及其变体取得了更优的结果。实现代码位于 https://github.com/iShohei220/adopt。
引用
@article{arxiv.2411.02853,
title = {ADOPT: Modified Adam Can Converge with Any $\beta_2$ with the Optimal Rate},
author = {Shohei Taniguchi and Keno Harada and Gouki Minegishi and Yuta Oshima and Seong Cheol Jeong and Go Nagahara and Tomoshi Iiyama and Masahiro Suzuki and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2411.02853},
year = {2024}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS 2024)