中文

非凸矩阵分解是测地凸的:从黎曼视角看固定秩矩阵优化的全局景观分析

最优化与控制 2022-11-30 v2 信息论 机器学习 数值分析 信号处理 math.IT 数值分析

摘要

我们研究一类带固定秩半正定(PSD)约束的一般矩阵优化问题。我们执行 Burer-Monteiro 分解,并在总空间装备欧几里得度量的搜索空间中考虑一种特定的黎曼商几何。当原目标 f 满足标准限制强凸与光滑性质时,我们刻画了在黎曼商几何下分解后目标的全局景观。我们表明整个搜索空间可分为三个区域:(R1)靠近目标参数附近的区域,其中分解目标为测地强凸且光滑;(R2)包含所有严格鞍点邻域的区域;(R3)其余区域,其中分解目标具有大梯度。据我们所知,这是首个在黎曼商几何下对 Burer-Monteiro 分解目标所作的全局景观分析。我们的结果对 Burer-Monteiro 分解下朴素梯度下降的优异表现提供了完全的几何解释。当 f 满足较弱的限制严格凸性质时,我们表明在局部极小点附近存在邻域使分解目标为测地凸。为证明结果,我们对带最小二乘目标的矩阵分解问题给出全面的景观分析,其作为关键桥梁。我们的结论还基于一个具独立意义的结果:以 Y 为中心、半径为 Y 的最小奇异值 1/3 的测地球在黎曼商几何下是测地凸集,作为推论,这也给出了 Bures-Wasserstein 空间中凸半径的定量界。所得凸半径在常数意义下是紧的。

关键词

引用

@article{arxiv.2209.15130,
  title  = {Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective},
  author = {Yuetian Luo and Nicolas Garcia Trillos},
  journal= {arXiv preprint arXiv:2209.15130},
  year   = {2022}
}

备注

The abstract is shortened to meet the arXiv submission requirement