黎曼流形上的随机梯度下降平均

我们考虑定义在黎曼流形 $\mathcal{M}$ 上的函数的最小化问题，该函数仅能通过其梯度的无偏估计访问。我们开发了一个几何框架，将随机梯度下降（SGD）在 $\mathcal{M}$ 上生成的缓慢收敛迭代序列转换为具有鲁棒且快速的 $O(1/n)$ 收敛率的平均迭代序列。然后我们给出该框架在测地强凸（且可能欧氏非凸）问题上的应用。最后，我们展示了这些思想如何应用于流式 $k$-PCA 的情形，其中我们展示了如何将随机幂方法的缓慢速率（无需知道特征间隙）加速为一个达到最优收敛率的鲁棒算法。