基于随机初始化的黎曼梯度下降实现低秩矩阵恢复的快速全局收敛

本文针对黎曼流形上的一类低秩矩阵恢复问题提出一种新的全局分析框架。我们分析了随机初始化下黎曼优化的全局行为。采用黎曼梯度下降算法最小化最小二乘损失函数，并研究其渐近行为及确切收敛速率。我们揭示了低秩矩阵流形一个此前未知的几何性质，即流形上简单最小二乘函数存在伪临界点。我们证明在某些假设下，从随机初始化出发的黎曼梯度下降以高概率避开这些伪临界点，且仅以近线性收敛速率（即达到 $\epsilon$ 精度解需 $\mathcal{O}(\text{log}(\frac{1}{\epsilon})+ \text{log}(n))$ 次迭代）收敛到真实值。我们以两个应用为例进行全局分析：其一是秩为 1 的矩阵恢复问题；其二是高斯相位恢复问题的推广，其仅满足弱等距性质，但除一个额外的鞍点集外行为与前者相似。我们的收敛保证近乎最优且几乎与维度无关，充分解释了数值观测。该全局分析有望推广至具有随机观测结构与经验最小二乘损失函数的其他数据问题。