使用指数梯度更新的步长自适应
机器学习
2022-02-02 v1
摘要
诸如 Adam 和 AdaGrad 的优化器在训练大规模神经网络方面非常成功。然而，这些方法的性能严重依赖于精心调节的学习率调度。我们表明，在许多大规模应用中，为给定优化器增补一种步长自适应调节方法可极大提升性能。更确切地说，我们为更新维护一个全局步长尺度以及每个坐标的增益因子。我们基于平均梯度与当前梯度向量的对齐程度来调整全局尺度。类似方法用于更新局部增益因子。此类步长尺度调节此前已用于梯度下降更新。在本文中，我们改用指数梯度更新来更新步长尺度和增益变量。在实验上，我们表明我们的方法无需任何专门调节的学习率调度即可在标准模型上取得引人注目的精度。我们还展示了我们的方法在训练期间快速适应数据分布偏移的有效性。
引用
@article{arxiv.2202.00145,
title = {Step-size Adaptation Using Exponentiated Gradient Updates},
author = {Ehsan Amid and Rohan Anil and Christopher Fifty and Manfred K. Warmuth},
journal= {arXiv preprint arXiv:2202.00145},
year = {2022}
}