矩形矩阵分解与线性神经网络的纳斯特罗夫加速梯度可证明加速

我们研究了一阶方法在矩形矩阵分解中的收敛速度，这是一种标准的非凸优化问题。具体而言，给定秩为 r 的矩阵 $\mathbf{A}\in\mathbb{R}^{m\times n}$，我们证明了梯度下降（GD）可以在高概率下找到一对 $\epsilon$-最优解 $\mathbf{X}_T\in\mathbb{R}^{m\times d}$ 和 $\mathbf{Y}_T\in\mathbb{R}^{n\times d}$，其中 $d\geq r$，满足 $\lVert\mathbf{X}_T\mathbf{Y}_T^\top-\mathbf{A}\rVert_\mathrm{F}\leq\epsilon\lVert\mathbf{A}\rVert_\mathrm{F}$，在 $T=O(\kappa^2\log\frac{1}{\epsilon})$ 次迭代中，其中 $\kappa$ 表示矩阵 $\mathbf{A}$ 的条件数。此外，我们证明了纳斯特罗夫加速梯度（NAG）达到 $O(\kappa\log\frac{1}{\epsilon})$ 的迭代复杂度，这是已知矩形矩阵分解中一阶方法的最佳界限。与现有文献中小型平衡随机初始化不同，我们采用不平衡初始化，其中 $\mathbf{X}_0$ 较大而 $\mathbf{Y}_0$ 为 0。此外，我们的初始化和分析可以进一步扩展到线性神经网络，其中我们证明了 NAG 也能达到加速的线性收敛速度。特别是，我们只要求网络的宽度大于或等于输出标签矩阵的秩。相比，先前实现相同速率的结果要求网络宽度过大，此外还取决于输入数据矩阵的条件数和秩。