Adam 优化器是否保持接近最优点？
机器学习
2019-11-04 v1 机器学习
摘要
用于训练神经网络的自适应优化器不断发展以克服先前提出的自适应方法的局限。近期研究发现了 Adam 无法收敛至最优点的罕见反例。这些反例揭示了由于小梯度带来的小二阶动量所导致的 Adam 失真。与以往研究不同，我们表明当有效学习率超过某一界限时，Adam 不仅在反例中，而且在一个一般凸区域中也无法保持更接近最优点。随后，我们提出一种克服 Adam 局限并确保其能够到达并停留在最优点区域的算法。
引用
@article{arxiv.1911.00289,
title = {Does Adam optimizer keep close to the optimal point?},
author = {Kiwook Bae and Heechang Ryu and Hayong Shin},
journal= {arXiv preprint arXiv:1911.00289},
year = {2019}
}
备注
Accepted as a workshop paper at the 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada