AdaPlus：在 AdamW 基础上融合 Nesterov 动量与精确步长调整
机器学习
2023-12-27 v2
摘要
本文提出一种高效优化器 AdaPlus，其在 AdamW 基础上融合了 Nesterov 动量与精确步长调整。AdaPlus 结合了 AdamW、Nadam 与 AdaBelief 的优点，且特别地不引入任何额外超参数。我们在三个机器学习任务上进行了广泛的实验评估以验证 AdaPlus 的有效性。实验结果证实 AdaPlus（i）在所有被评估的自适应方法中，在图像分类任务上表现与带动量的 SGD 最具可比性（甚至略优），且（ii）在语言建模任务上优于其他最先进优化器，并在训练 GANs 时展现出相当高的稳定性。AdaPlus 的实验代码将发布于：https://github.com/guanleics/AdaPlus。
引用
@article{arxiv.2309.01966,
title = {AdaPlus: Integrating Nesterov Momentum and Precise Stepsize Adjustment on AdamW Basis},
author = {Lei Guan},
journal= {arXiv preprint arXiv:2309.01966},
year = {2023}
}