FastAdaBelief：利用强凸性改进基于 Belief 的自适应优化器的收敛速率
机器学习
2022-05-26 v3 机器学习
摘要
AdaBelief 是当前最佳优化器之一，通过观测梯度的指数移动平均，展现出优于流行 Adam 算法的泛化能力。AdaBelief 在理论上具有吸引力：当目标函数凸时，其具有数据依赖的 O(√T) 遗憾界，其中 T 为时间范围。然而，能否在不牺牲泛化能力的前提下进一步改进收敛速率仍是一个开放问题。为此，我们在本工作中首次尝试设计了一种称为 FastAdaBelief 的新型优化算法，旨在利用强凸性以实现更快的收敛速率。具体而言，通过调整更好地考虑强凸性并防止波动的步长，我们提出的 FastAdaBelief 展现出优异的泛化能力及卓越的收敛性。作为一个重要的理论贡献，我们证明了 FastAdaBelief 达到了数据依赖的 O(log T) 遗憾界，显著低于 AdaBelief。在实证方面，我们在强凸与非强凸两种场景下，基于三个流行基线模型通过大量实验验证了我们的理论分析。实验结果令人鼓舞：与所有主流算法相比，FastAdaBelief 收敛最快，同时在强凸与非强凸情况下均保持优异的泛化能力。因此，FastAdaBelief 被定位为研究界的一个新基准模型。
引用
@article{arxiv.2104.13790,
title = {FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity},
author = {Yangfan Zhou and Kaizhu Huang and Cheng Cheng and Xuguang Wang and Amir Hussain and Xin Liu},
journal= {arXiv preprint arXiv:2104.13790},
year = {2022}
}