黎曼流形上随机非凸优化的更快一阶方法

SPIDER（随机路径积分微分估计器，Stochastic Path Integrated Differential EstimatoR）是为非凸随机优化开发的一种高效梯度估计技术。尽管已被证明达到近乎最优的计算复杂度界，SPIDER类方法仅限于线性度量空间。本文引入黎曼SPIDER（R-SPIDER）方法，作为SPIDER在黎曼流形上高效非凸优化的非线性度量扩展。我们证明，对于具有n个分量的有限和问题，R-SPIDER在$\mathcal{O}\big(\min\big(n+\frac{\sqrt{n}}{\epsilon^2},\frac{1}{\epsilon^3}\big)\big)$次随机梯度评估内收敛到$\epsilon$精度驻点，其量级比先前的黎曼一阶方法更优。对于在线优化，R-SPIDER被证明以$\mathcal{O}\big(\frac{1}{\epsilon^3}\big)$复杂度收敛，据我们所知，这是在线黎曼优化的首个非渐近结果。特别地，对于梯度主导函数，我们进一步开发了R-SPIDER的变体并证明其线性收敛速率。数值结果证明了所提方法的计算效率。