随机梯度的加速凸优化：推广强增长条件
最优化与控制
2022-07-26 v1
摘要
本文给出了随机梯度不会减慢 Nesterov 加速梯度法收敛速度的一个充分条件。新条件以 Schmidt 和 Roux 的强增长条件（strong-growth condition）为特例，并且它还允许我们（i）对带约束的问题建模，以及（ii）设计新型预言机（例如用于如 SAGA 等有限和问题的预言机）。我们的结果通过重新审视 Nesterov 加速算法获得，可用于在不改变底层一阶方法的情况下设计随机预言机。
引用
@article{arxiv.2207.11833,
title = {Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition},
author = {Víctor Valls and Shiqiang Wang and Yuang Jiang and Leandros Tassiulas},
journal= {arXiv preprint arXiv:2207.11833},
year = {2022}
}