Adam族算法的一种新收敛分析
机器学习
2021-12-08 v1 最优化与控制
摘要
自2014年提出以来，Adam优化器受到了极大关注。一方面，它已被广泛用于深度学习并提出了许多变体，另一方面其理论收敛性质仍是个谜。现有研究有的需要对更新施加强假设（在实践中未必适用），有的仍沿用Adam原始有问题的收敛分析（已被证明不足以保证收敛），因此远不能令人满意。尽管存在针对Adam的严格收敛分析，但它们对自适应步长更新施加了特定要求，不够通用以覆盖许多其他Adam变体。为解决这些问题，在本扩展摘要中，我们给出了Adam风格方法族（包括Adam、AMSGrad、Adabound等）的一个简单且通用的收敛证明。我们的分析仅要求一阶矩的“动量”参数递增或较大（这确实是实践中使用的情况），以及对步长自适应因子的有界条件（在随机梯度的温和条件下适用于所有Adam变体）。我们还建立了所用随机梯度估计器的方差递减结果。事实上，我们对Adam的分析如此简单且通用，可被用来确立求解更广泛非凸优化问题族（包括极小极大、复合和双层优化问题）的收敛性。有关本扩展摘要的完整（早期）版本，请参阅arXiv:2104.14840。
引用
@article{arxiv.2112.03459,
title = {A Novel Convergence Analysis for Algorithms of the Adam Family},
author = {Zhishuai Guo and Yi Xu and Wotao Yin and Rong Jin and Tianbao Yang},
journal= {arXiv preprint arXiv:2112.03459},
year = {2021}
}
备注
In NeurIPS OPT Workshop 2021. arXiv admin note: substantial text overlap with arXiv:2104.14840