黎曼 SVRG：黎曼流形上的快速随机优化
最优化与控制
2017-04-11 v2 机器学习
摘要
我们研究黎曼流形上测地光滑函数有限和的优化问题。尽管近年来用于优化有限和的方差缩减技术受到了极大关注，但现有工作仅限于向量空间问题。我们引入了黎曼 SVRG（RSVRG），一种新的方差缩减黎曼优化方法。我们针对测地凸和非凸（光滑）函数分析了 RSVRG。我们的分析表明，RSVRG 继承了通常 SVRG 方法的优点，但受流形曲率影响的因子会影响其收敛性。据我们所知，RSVRG 是首个可证明的快速随机黎曼方法。此外，我们的论文首次给出了非凸黎曼优化的非渐近复杂度分析（即使对于批量设置也是新颖的）。我们的结果具有若干启示；例如，它们为方差缩减 PCA 提供了黎曼视角，有望带来简短、透明的收敛分析。
引用
@article{arxiv.1605.07147,
title = {Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds},
author = {Hongyi Zhang and Sashank J. Reddi and Suvrit Sra},
journal= {arXiv preprint arXiv:1605.07147},
year = {2017}
}
备注
This is the final version that appeared in NIPS 2016. Our proof of Lemma 2 was incorrect in the previous arXiv version. (9 pages paper + 6 pages appendix)