非对称低秩矩阵分解中梯度下降的全局收敛性

我们研究非对称低秩分解问题：$$\min_{\mathbf{U} \in \mathbb{R}^{m \times d}, \mathbf{V} \in \mathbb{R}^{n \times d}} \frac{1}{2}\|\mathbf{U}\mathbf{V}^\top -\mathbf{\Sigma}\|_F^2$$ 其中 $\mathbf{\Sigma}$ 是给定的 $m \times n$ 大小、秩为 $d$ 的矩阵。这是一个典型问题，在优化上具有两个难点：1）非凸性；2）非光滑性（由于 $\mathbf{U}$ 和 $\mathbf{V}$ 的不平衡性）。它也是非对称矩阵感知和矩阵补全等更复杂问题的原型。尽管非凸且非光滑，经验观察到随机初始化的梯度下降算法可在多项式时间内求解该问题。现有解释此现象的理论都要求对算法做人工修改，例如在每次迭代中加入噪声，以及加入平衡正则化项来平衡 $\mathbf{U}$ 和 $\mathbf{V}$。本文给出首个证明，表明随机初始化的梯度下降以多项式速率收敛到非对称低秩分解问题的全局最小值。在证明中，我们发展了 1）一种捕获对称与非对称量级的新对称化技术，以及 2）用于近似矩阵导数的定量扰动分析。我们相信二者对其他相关非凸问题也有用处。