中文

含噪过参数化 regime 下非凸低秩恢复的无歧义全局保证

最优化与控制 2025-05-07 v3 机器学习 机器学习

摘要

近期工作表明,在受限等距性质(RIP)下,秩过参数化消除了非凸低秩矩阵恢复中的伪局部极小值。但这并不能完全解释过参数化的实际成功,因为即使所有局部极小值都是全局的,实际算法仍可能陷入非严格鞍点(具有任意小负曲率的近似二阶点)。此外,该结果未考虑含噪观测,而鉴于过参数化 regime 中已知的诸多不连续与反直觉行为,尚不清楚此类推广是否可能。本文引入一种新颖的证明技术,统一、简化并强化了两种先前相互竞争的方法——一种基于逃逸方向,另一种基于反例的不存在——以在含噪过参数化 regime 下提供无歧义的全局保证。我们表明,一旦通过轻微过参数化将局部极小值转化为全局极小值,近二阶点即可达到与成本高得多的凸方法相同的极小极大最优恢复界(相差小常数因子)。我们的结果关于噪声水平与解精度均为紧的,且对对称参数化 XXTXX^{T} 以及带平衡正则化的非对称参数化 UVTUV^{T} 均成立;我们证明了平衡正则化确为必要。

关键词

引用

@article{arxiv.2104.10790,
  title  = {Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime},
  author = {Richard Y. Zhang},
  journal= {arXiv preprint arXiv:2104.10790},
  year   = {2025}
}

备注

v2 corrects minor typos; v3 complete overhaul with new results on minimax-optimal recovery under noise and asymmetric factorization