带有移动目标的随机Polyak步长
机器学习
2021-09-27 v2 最优化与控制
摘要
我们提出一种称为MOTAPS(带移动目标的Polyak步长)的新随机梯度方法,它利用记录的过去损失值来计算自适应步长。MOTAPS可视为随机Polyak(SP)的一个变体,后者同样利用损失值来调整步长。SP方法的缺陷在于仅在插值条件成立时才收敛。MOTAPS是SP的扩展,不依赖于插值条件。MOTAPS方法使用n个辅助变量,每个数据点一个,用以跟踪每个数据点的损失值。我们通过表明SP、中间方法TAPS与MOTAPS均可解释为在线SGD的一种特殊变体,为它们提供了全局收敛理论。我们还在凸学习问题以及用于图像分类和语言翻译的深度学习模型上进行了若干数值实验。在所有任务中,我们均显示MOTAPS与相关的基线方法具有竞争力。
引用
@article{arxiv.2106.11851,
title = {Stochastic Polyak Stepsize with a Moving Target},
author = {Robert M. Gower and Aaron Defazio and Michael Rabbat},
journal= {arXiv preprint arXiv:2106.11851},
year = {2021}
}
备注
49 pages, 13 figures, 1 table