中文

低秩矩阵优化的方向-幅度分解：更快的收敛与鞍点间动力学

最优化与控制 2026-06-30 v1 机器学习
作者: Yudong Wei , Liang Zhang , Bingcong Li , Niao He
在 arXiv 上查看 ↗ PDF ↗

摘要

低秩矩阵优化通常通过Burer-Monteiro（BM）公式进行，但选择分解秩rr很微妙，且可能显著减慢优化速度。我们提出了一个统一框架，称为方向-幅度分解（DMD），该框架分解优化变量以提高优化效率，即使目标秩未知。我们开发了两种基于DMD的方法，并在矩阵分解这一经典问题上确立了它们的理论优势。第一种是过参数化DMD，使用大于必要值的秩rr，并随着rr的增加享有更快的收敛速度。第二种是递归DMD，其动机来自过参数化DMD的增量特征对学习或鞍点间行为。它在内存和计算成本上更低，补充了过参数化DMD。这两种方法都比应用于BM公式的梯度下降快指数级。在矩阵分解、感知和补全上的数值实验证实了我们的理论发现，并展示了DMD的实际有效性。

关键词

低秩矩阵优化 Burer-Monteiro 方向-幅度分解 过参数化 鞍点间动力学 矩阵分解

引用

@article{arxiv.2606.31390,
  title  = {Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics},
  author = {Yudong Wei and Liang Zhang and Bingcong Li and Niao He},
  journal= {arXiv preprint arXiv:2606.31390},
  year   = {2026}
}