带动量的 Polyak 步长的复杂度保证
最优化与控制
2020-07-06 v2 数值分析
数值分析
机器学习
摘要
在光滑强凸优化中，强凸参数的知识对于获得具有加速速率的简单方法至关重要。在这项工作中，我们研究了一类基于 Polyak 步长的方法，其中该知识被最优值 的知识所替代。我们首先给出了简单梯度下降带 Polyak 步长的经典情形比先前已知略优的收敛界，然后推导了带 Polyak 步长和动量的加速梯度方法，并给出了收敛保证。
引用
@article{arxiv.2002.00915,
title = {Complexity Guarantees for Polyak Steps with Momentum},
author = {Mathieu Barré and Adrien Taylor and Alexandre d'Aspremont},
journal= {arXiv preprint arXiv:2002.00915},
year = {2020}
}
备注
Accepted to COLT2020