用于低秩矩阵估计的投影梯度下降算法

现有的低秩矩阵估计方法大多依赖于 Burer-Monteiro 分解，但这些方法往往收敛缓慢，尤其是当解的特征数（定义为最大奇异值与第 $r$ 个奇异值之比，其中 $r$ 为搜索秩）较大时。虽然已提出如缩放梯度下降（Scaled Gradient Descent）等方法来解决此问题，但此类方法更为复杂，且有时理论保证较弱，例如在秩亏缺（rank-deficient）情形下。相比之下，本文证明了投影梯度下降算法的有效性。首先，其局部收敛速率独立于条件数。其次，在目标函数满足秩 -$2r$ 限制 $L$-光滑和 $\mu$-强凸，且 $L/\mu < 3$ 的条件下，采用适当步长的投影梯度下降能线性收敛至解。此外，该算法的扰动版本能有效避开鞍点，并在广泛的步长范围内收敛至近似解或二阶局部极小值。进一步地，我们证明了当目标函数满足 $L/\mu<3$ 时，在非对称低秩矩阵估计中不存在虚假局部极小值。