流形上非凸优化的全局收敛速率

我们考虑在流形 $M$ 上使用黎曼梯度下降和黎曼信赖域（RTR）最小化代价函数 $f$。我们专注于在容差 $\varepsilon$ 内满足必要最优性条件。具体而言，我们证明，在对 $f$ 到 $M$ 的切空间的拉回的 Lipschitz 型假设下，这两种算法都在 $O(1/\varepsilon^2)$ 次迭代内产生黎曼梯度小于 $\varepsilon$ 的点。此外，RTR 在 $O(1/\varepsilon^3)$ 次迭代内返回一个点，其中黎曼 Hessian 的最小特征值也大于 $-\varepsilon$。对初始化没有假设。这些速率作为精度 $\varepsilon$ 的函数与其（尖锐的）无约束对应物相匹配（至多差常数倍），因此在该意义上是尖锐的。这些是关于流形上逼近一阶和二阶 Karush-Kuhn-Tucker 点的全局收敛速率的首个确定性结果。它们尤其适用于在更简单假设下约束到 $\mathbb{R}^n$ 的紧子流形的优化。