过参数化低秩矩阵感知中预处理的威力

Xingyu Xu; Yandi Shen; Yuejie Chi; Cong Ma

过参数化低秩矩阵感知中预处理的威力

机器学习 2026-01-01 v4 信号处理最优化与控制机器学习

作者: Xingyu Xu , Yandi Shen , Yuejie Chi , Cong Ma

摘要

我们提出 $\textsf{ScaledGD($ \lambda $)}$ ，一种预处理梯度下降方法，用于在真实秩未知且矩阵可能病态时解决低秩矩阵感知问题。利用过参数化因子表示， $\textsf{ScaledGD($ \lambda $)}$ 从小型随机初始化出发，并通过具有特定形式阻尼预处理的梯度下降来对抗由过参数化与病态性引起的不良曲率。以预处理带来的轻微计算开销为代价， $\textsf{ScaledGD($ \lambda $)}$ 相较于即便使用过参数化的朴素梯度下降（ $\textsf{GD}$ ）对病态性极为鲁棒。具体而言，我们证明在高斯设计下， $\textsf{ScaledGD($ \lambda $)}$ 在以仅随条件数与问题维度对数缩放的少量迭代后，以恒定线性速率收敛到真实低秩矩阵。这显著优于朴素 $\textsf{GD}$ 的收敛速率，后者受条件数的多项式依赖所累。我们的工作提供了预处理在加速收敛而不损害过参数化学习泛化能力的证据。

关键词

预处理过参数化低秩矩阵感知梯度下降病态性线性收敛高斯设计

引用

@article{arxiv.2302.01186,
  title  = {The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing},
  author = {Xingyu Xu and Yandi Shen and Yuejie Chi and Cong Ma},
  journal= {arXiv preprint arXiv:2302.01186},
  year   = {2026}
}

备注

Journal version

过参数化低秩矩阵感知中预处理的威力

摘要

关键词

引用

备注

相关论文