解耦自适应梯度方法与学习率
机器学习
2020-02-28 v1 机器学习
摘要
我们研究了深度学习优化算法评估中的若干混淆因素。主要地，我们深入考察了自适应梯度方法如何与学习率调度相互作用，这是一个 notoriously 难以调优的超参数，对神经网络训练的收敛与泛化有显著影响。我们引入了一种“嫁接”实验，将更新的幅度与其方向解耦，发现文献中的许多既有认知可能源于对步长隐式调度隔离不足。除该贡献外，我们呈现了一些关于自适应梯度方法泛化的经验与理论回顾，旨在为该领域带来更多清晰性。
引用
@article{arxiv.2002.11803,
title = {Disentangling Adaptive Gradient Methods from Learning Rates},
author = {Naman Agarwal and Rohan Anil and Elad Hazan and Tomer Koren and Cyril Zhang},
journal= {arXiv preprint arXiv:2002.11803},
year = {2020}
}