ASVRG：加速近端 SVRG
机器学习
2018-11-20 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
本文提出一种加速近端随机方差缩减梯度（ASVRG）方法，其中我们设计了一种简单而有效的动量加速技巧。与 Katyusha 等多数现有加速随机方差缩减方法不同，ASVRG 仅有一个额外变量和一个动量参数。因此，ASVRG 比那些方法简单得多，且每次迭代复杂度低得多。我们证明 ASVRG 在强凸与非强凸目标下均达到已知最优的预言复杂度。此外，我们将 ASVRG 推广至小批量与非光滑情形。我们还通过实验验证了理论结果，并表明 ASVRG 的性能与最先进随机方法相当，有时甚至更优。
引用
@article{arxiv.1810.03105,
title = {ASVRG: Accelerated Proximal SVRG},
author = {Fanhua Shang and Licheng Jiao and Kaiwen Zhou and James Cheng and Yan Ren and Yufei Jin},
journal= {arXiv preprint arXiv:1810.03105},
year = {2018}
}
备注
32 pages, 3 figures