Katyusha：随机梯度方法的首次直接加速

Zeyuan Allen-Zhu

Katyusha：随机梯度方法的首次直接加速

最优化与控制 2018-09-25 v6 数据结构与算法机器学习机器学习

作者: Zeyuan Allen-Zhu

摘要

Nesterov动量技巧以加速梯度下降而闻名，并已被证明在构建快速迭代算法方面有用。然而，在随机设置下，存在反例，阻止Nesterov动量提供类似的加速，即使底层问题是凸的且有限和。我们引入 $\mathtt{Katyusha}$ ，一种直接的、仅原变量的随机梯度方法，以解决此问题。在凸有限和随机优化中， $\mathtt{Katyusha}$ 具有最优的加速收敛速率，并在小批量设置下享有最优的并行线性加速。主要成分是 $\textit{Katyusha momentum}$ ，一种在Nesterov动量之上的新型“负动量”。它可以被纳入基于方差缩减的算法中并加速之，无论是在 $\textit{sequential and parallel}$ 性能方面。由于方差缩减已成功应用于越来越多实际问题中，我们的论文表明，在上述每种情况下，人们都可能潜在地尝试采用Katyusha。

关键词

随机梯度方法 Nesterov动量方差缩减凸有限和优化加速收敛 Katyusha动量并行线性加速

引用

@article{arxiv.1603.05953,
  title  = {Katyusha: The First Direct Acceleration of Stochastic Gradient Methods},
  author = {Zeyuan Allen-Zhu},
  journal= {arXiv preprint arXiv:1603.05953},
  year   = {2018}
}

备注

Version 6. Appeared in Symposium on Theory of Computing (STOC 2017) and Journal of Machine Learning Research (JMLR 2018)

Katyusha：随机梯度方法的首次直接加速

摘要

关键词

引用

备注

相关论文