无正则化矩阵补全中小初始化梯度下降的收敛性

我们研究对称矩阵补全问题，目标是从部分观测条目中重建由$\rm{U}\rm{U}^{\top}$参数化的秩为$r$的正半定矩阵$\rm{X}^\star \in \mathbb{R}^{d\times d}$。我们证明，无需任何显式正则化，小初始化的vanilla梯度下降(GD)可证明收敛到真实矩阵$\rm{X}^\star$。即使在过参数化场景下（真实秩$r$未知并被搜索秩$r'\gg r$保守高估），该收敛结果仍然成立。现有结果要么需要显式正则化、足够精确的初始点，要么需要精确知道真实秩$r$。在$r'\geq r$的过参数化区域，我们证明，在$\widetilde\Omega(dr^9)$个观测下，初始点满足$\|\rm{U}_0\| \leq \epsilon$的GD以近线性速度收敛到$\rm{X}^\star$的$\epsilon$-邻域。因此，更小的初始点产生更精确的解。令人惊讶的是，收敛速度和最终精度均不依赖于过参数化搜索秩$r'$，而仅由真实秩$r$决定。在$r'=r$的精确参数化区域，我们进一步改进结果，证明若初始点满足$\|\rm{U}_0\| = O(1/d)$，GD以更快的速度收敛到任意小的精度$\epsilon>0$。我们方法的核心在于一种新颖的弱耦合留一分析，它使我们能够建立GD的全局收敛性，超越了经典留一分析此前所能达到的范围。