非对称矩阵补全的朴素梯度下降全局收敛性分析
机器学习
2025-08-14 v1 信息论
math.IT
摘要
本文研究非对称低秩矩阵补全问题，该问题可以表述为一个具有非线性最小二乘目标函数的无约束非凸优化问题，并通过梯度下降方法求解。以往的梯度下降方法通常将正则化项纳入目标函数以保证收敛性。然而，数值实验和梯度流的理论分析都表明，在梯度下降算法中消除正则化项不会对收敛性能产生不利影响。通过引入留一法技术，我们归纳证明了具有谱初始化的朴素梯度下降以高概率实现线性收敛速率。此外，我们证明了平衡正则化项在迭代过程中具有较小的范数，这揭示了梯度下降的隐式正则化性质。实证结果表明，与其他梯度下降算法相比，我们的算法在保持相当完成性能的同时，具有更低的计算成本。
引用
@article{arxiv.2508.09685,
title = {Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion},
author = {Xu Zhang and Shuo Chen and Jinsheng Li and Xiangying Pang and Maoguo Gong},
journal= {arXiv preprint arXiv:2508.09685},
year = {2025}
}