面向黎曼优化的免向量传输通用收缩SVRG：复杂度分析与实用实现
最优化与控制
2017-05-26 v1
摘要
本文针对黎曼流形上的经验风险最小化问题，提出了一种免向量传输且采用通用收缩的随机方差缩减梯度（SVRG）方法。流形上现有的SVRG方法通常考虑特定的收缩操作，并涉及额外的计算代价，如平行传输或向量传输。本文提出的免向量传输通用收缩SVRG能够处理通用的收缩操作，且无需上述额外计算代价。因此，我们将该算法命名为S-SVRG，其中第一个“S”意为简单。我们分析了S-SVRG获得ε-平稳点的迭代复杂度，并通过假设Łojasiewicz不等式证明了其局部线性收敛性，该不等式对PCA自然成立，对矩阵补全问题则以高概率成立。我们还结合了Barzilai-Borwein步长，设计了一种非常实用的S-SVRG-BB方法。报告了在PCA和矩阵补全问题上的数值结果，以证明我们方法的效率。
引用
@article{arxiv.1705.09059,
title = {Vector Transport-Free SVRG with General Retraction for Riemannian Optimization: Complexity Analysis and Practical Implementation},
author = {Bo Jiang and Shiqian Ma and Anthony Man-Cho So and Shuzhong Zhang},
journal= {arXiv preprint arXiv:1705.09059},
year = {2017}
}