黎曼动量跟踪：紧子流形上的分布式动量优化

动量梯度下降在各种信号处理和机器学习任务中被广泛应用，相较于标准梯度下降显示出显著的经验优势。然而，动量分布式黎曼算法的探索仍寥寥无几。本文提出了黎曼动量跟踪（RMTracking），一种在紧子流形上进行的去中心化优化算法。鉴于紧子流形的非凸性，目标函数由有限个光滑（可能非凸）的局部函数之和构成，在无向连通网络图中进行最小化。采用常数步长，我们建立了黎曼梯度平均的收敛率为 $\mathcal{O}(\frac{1-\beta}{K})$，其中动量权重 $\beta \in [0,1)$。尤其，当步长足够小时，RMTracking 可达到收敛到平稳点的收敛率 $\mathcal{O}(\frac{1-\beta}{K})$。据我们所知，RMTracking 是首个实现精确收敛的去中心化算法，其收敛速度是其他相关算法的 $\frac{1}{1-\beta}$ 倍。最后，我们通过特征值问题的数值实验验证了这些理论结果。