UAdam：面向非凸随机优化的统一 Adam 型算法框架
机器学习
2024-09-24 v1 数值分析
数值分析
最优化与控制
摘要
Adam 型算法已成为深度学习环境下优化的首选，然而尽管取得成功，其收敛性仍未被充分理解。为此，我们引入了 Adam 型算法的统一框架（称为 UAdam）。其配备二阶矩的一般形式，使得可将 Adam 及其变体（如 NAdam、AMSGrad、AdaBound、AdaFom 和 Adan）作为特例纳入。这得益于对非凸随机设定下 UAdam 的严格收敛分析，表明 UAdam 以 的速率收敛到驻点邻域。此外，邻域大小随 增大而减小。重要的是，我们的分析仅要求一阶动量因子足够接近 1，而对二阶动量因子无任何限制。理论结果还表明，通过选取适当超参数，原始 Adam 可以收敛，这为整类 Adam 型算法的分析、应用和进一步发展提供了理论保证。
引用
@article{arxiv.2305.05675,
title = {UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic Optimization},
author = {Yiming Jiang and Jinlan Liu and Dongpo Xu and Danilo P. Mandic},
journal= {arXiv preprint arXiv:2305.05675},
year = {2024}
}