关于AMSGrad收敛证明及一个新版本
机器学习
2019-11-01 v4 最优化与控制
机器学习
摘要
自适应矩估计算法Adam（Kingma和Ba）是深度神经网络训练中常用的优化器。然而，Reddi等人最近指出Adam的收敛证明存在问题，并提出了一种称为AMSGrad的Adam变体作为修正。在本文中，我们表明AMSGrad的收敛证明同样存在问题。具体而言，AMSGrad收敛证明中的问题出在对超参数的处理上，将其视为相等而实际上并不相等。这也是Adam收敛证明中被忽视的问题。我们给出一个简单凸优化设置的显式反例来展示这一被忽视的问题。通过对超参数进行调控，我们针对该问题给出了多种修正方案。作为第一种修正，我们给出了AMSGrad的新收敛证明。我们还提出了一种称为AdamX的AMSGrad新版本作为另一种修正。我们在基准数据集上的实验也支持我们的理论结果。
引用
@article{arxiv.1904.03590,
title = {On the Convergence Proof of AMSGrad and a New Version},
author = {Tran Thi Phuong and Le Trieu Phong},
journal= {arXiv preprint arXiv:1904.03590},
year = {2019}
}
备注
Update publication information