过参数化非凸 Burer–Monteiro 分解的预条件梯度下降与全局最优性认证

我们考虑使用梯度下降在 $n\times r$ 因子矩阵 $X$ 上最小化非凸函数 $f(X)=\phi(XX^{T})$，其中 $\phi$ 是定义在 $n\times n$ 矩阵上的底层光滑凸代价函数。虽然只能在合理时间内可证明地找到二阶平稳点 $X$，但若 $X$ 额外是秩亏的，则其秩亏性可证明其为全局最优。这种全局最优性认证方式必然要求当前迭代 $X$ 的搜索秩 $r$ 相对于全局极小元 $X^{\star}$ 的秩 $r^{\star}$ 是过参数化的。遗憾的是，过参数化显著减慢了梯度下降的收敛速度，从 $r=r^{\star}$ 时的线性速率降至 $r>r^{\star}$ 时的次线性速率，即便 $\phi$ 是强凸的。本文中，我们提出一种廉价的预条件子，在过参数化情形下将梯度下降的收敛速率恢复为线性，同时使其对全局极小元 $X^{\star}$ 中可能的病态性不敏感。