非凸复合优化中带随机方差缩减的动量格式
最优化与控制
2019-05-17 v3 机器学习
摘要
最近提出了两种新的随机方差缩减算法 SARAH 和 SPIDER，并且已证明 SPIDER 在非凸优化中达到了近最优的梯度预言复杂度。然而，SPIDER 的理论优势并未在实际性能上相对于 SVRG 带来实质性改进。为解决此问题，动量技术可作为改进 SPIDER 性能的良好候选。然而，现有方差缩减算法中使用的动量格式是专为凸优化设计的，不适用于非凸情形。本文中，我们发展了具有灵活系数设置的新型动量格式，以加速 SPIDER 用于非凸非光滑复合优化，并证明所得算法在达到广义一阶平稳条件时实现了近最优的梯度预言复杂度。此外，我们将算法推广到在线非凸非光滑优化，并建立了与当前最优水平匹配的预言复杂度结果。我们大量的实验证明了所提算法相对于其他随机方差缩减算法的优越性能。
引用
@article{arxiv.1902.02715,
title = {Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization},
author = {Yi Zhou and Zhe Wang and Kaiyi Ji and Yingbin Liang and Vahid Tarokh},
journal= {arXiv preprint arXiv:1902.02715},
year = {2019}
}
备注
We are merging the results of this paper with another paper at arXiv:1810.10690. Therefore, we want to withdraw this paper