使用采样负动量直接加速SAGA
机器学习
2019-04-23 v4 机器学习
摘要
方差缩减是一种简单有效的技术，可以加速凸（或非凸）随机优化。在现有的方差缩减方法中，SVRG和SAGA采用无偏梯度估计器，是近年来最流行的方差缩减方法。尽管已经提出了SVRG的各种加速变体（例如Katyusha和Acc-Prox-SVRG），但SAGA的直接加速仍然未知。在本文中，我们提出了一种使用新颖的采样负动量（SSNM）的SAGA直接加速变体，该变体在强凸问题（已知强凸参数）上实现了已知最佳的预言复杂度。因此，我们的工作填补了直接加速SAGA的空白。
引用
@article{arxiv.1806.11048,
title = {Direct Acceleration of SAGA using Sampled Negative Momentum},
author = {Kaiwen Zhou},
journal= {arXiv preprint arXiv:1806.11048},
year = {2019}
}
备注
17 pages, 6 figures