用于机器学习的带动量加速的快速随机方差减少梯度方法

近期，关于加速随机梯度下降方法（如 SVRG）的研究取得了令人瞩目的进展（例如，对于强凸问题具有线性收敛性）。然而，目前已知最好的方法（如 Katyusha）需要至少两个辅助变量和两个动量参数。在本文中，我们提出了一种快速随机方差减少梯度（FSVRG）方法，其中我们设计了一种结合 Nesterov 动量的新颖更新规则，并融入了递增 epoch 大小的技术。FSVRG 仅有一个辅助变量和一个动量权重，因此它更简单且每次迭代的复杂度更低。我们证明 FSVRG 对于强凸问题具有线性收敛性，对于非强凸问题具有最优的 $\mathcal{O}(1/T^2)$ 收敛速率，其中 $T$ 为外迭代次数。我们还将 FSVRG 扩展以直接求解具有非光滑分量函数的问题，如 SVM。最后，我们从实验上研究了 FSVRG 在求解各种机器学习问题（如 logistic 回归、岭回归、Lasso 和 SVM）时的性能。结果表明，FSVRG 优于包括 Katyusha 在内的最先进随机方法。