舍弃凸性以加速半定优化

我们研究在 $n\times n$ 半正定矩阵集合上最小化凸函数 $f(X)$ 的问题，但当该问题被重新表述为 $\min_U g(U) := f(UU^\top)$ 时，其中 $U \in \mathbb{R}^{n \times r}$ 且 $r \leq n$。我们研究了在原始函数 $f$ 的标准假设下，关于 $g$ 的梯度下降——我们称之为因子化梯度下降（Factored Gradient Descent, FGD）——的性能。我们提供了选择步长的规则，并且通过该选择，表明 FGD 的局部收敛速率反映了原始 $f$ 上标准梯度下降的收敛速率：即，经过 $k$ 步后，对于光滑的 $f$ 误差为 $O(1/k)$，而当 $f$ 是（受限）强凸时误差随 $k$ 指数级小。此外，我们提供了一种用于（受限）强凸目标且当仅能通过一阶预言机访问 $f$ 时初始化 FGD 的过程；对于若干问题实例，这种适当的初始化带来了全局收敛保证。FGD 及类似过程在实践中广泛用于可表述为矩阵分解的问题。据我们所知，这是第一篇在标准凸假设下为一般凸函数提供精确收敛速率保证的论文。