自适应优化方法的算法稳定性与泛化性研究
机器学习
2022-11-09 v1 最优化与控制
摘要
尽管以 Adagrad、RMSProp、Adam 或 AdamW 为代表的自适应优化器在深度学习和一般机器学习中广受欢迎，但其理论性质尚未被充分理解。本文提出了一个研究这些优化方法稳定性与泛化性的新框架。基于该框架，我们给出了依赖于单一参数 的此类性质的可证明保证。我们的实证实验支持了我们的论断，并为自适应优化方法的稳定性与泛化性质提供了实用见解。
引用
@article{arxiv.2211.03970,
title = {On the Algorithmic Stability and Generalization of Adaptive Optimization Methods},
author = {Han Nguyen and Hai Pham and Sashank J. Reddi and Barnabás Póczos},
journal= {arXiv preprint arXiv:2211.03970},
year = {2022}
}
备注
21 pages including appendix