自适应学习率方差问题及其超越
机器学习
2021-10-27 v4 计算与语言
机器学习
摘要
学习率预热启发式方法在稳定训练、加速收敛以及改善 RMSprop 和 Adam 等自适应随机优化算法的泛化能力方面取得了显著成功。在此,我们详细研究其机制。为探究预热背后的理论,我们指出了自适应学习率的一个问题(即其在早期阶段具有异常大的方差),提出预热作为一种方差缩减技术发挥作用,并提供经验和理论证据来验证我们的假设。我们进一步提出 Adam 的新变体 RAdam,通过引入一项来修正自适应学习率的方差。在图像分类、语言建模和神经机器翻译上的大量实验结果验证了我们的直觉,并证明了我们所提方法的有效性和鲁棒性。所有实现均可在 https://github.com/LiyuanLucasLiu/RAdam 获取。
引用
@article{arxiv.1908.03265,
title = {On the Variance of the Adaptive Learning Rate and Beyond},
author = {Liyuan Liu and Haoming Jiang and Pengcheng He and Weizhu Chen and Xiaodong Liu and Jianfeng Gao and Jiawei Han},
journal= {arXiv preprint arXiv:1908.03265},
year = {2021}
}
备注
ICLR 2020. Fix several typos in the previous version