ADAM 优化器收敛性证明的改进
机器学习
2018-04-30 v1 人工智能
机器学习
摘要
训练神经网络的常用方法是反向传播。该算法包含一种需要自适应步长的梯度下降法。在神经网络领域，ADAM 优化器是最受欢迎的自适应步长方法之一。它由 Kingma 和 Ba 在 \cite{Kingma.2015} 中发明。仅三年内 次引用进一步显示了该论文的重要性。我们发现所给优化器的收敛性证明含有一些错误，致使证明不成立。本文中我们给出了 ADAM 优化器收敛性证明的改进。
引用
@article{arxiv.1804.10587,
title = {An improvement of the convergence proof of the ADAM-Optimizer},
author = {Sebastian Bock and Josef Goppold and Martin Weiß},
journal= {arXiv preprint arXiv:1804.10587},
year = {2018}
}