非凸低秩问题中无伪局部极小值：统一的几何分析
机器学习
2017-04-04 v1 最优化与控制
机器学习
摘要
在本文中，我们开发了一个新框架，该框架捕捉了包括矩阵感知、矩阵补全和鲁棒 PCA 在内的常见非凸低秩矩阵问题所共有的底层景观。特别是，对于上述所有问题（包括非对称情形），我们证明：1) 所有局部极小值也是全局最优的；2) 不存在高阶鞍点。这些结果解释了为什么随机梯度下降等简单算法具有全局收敛性，并能在实践中高效优化这些非凸目标函数。我们的框架联系并简化了现有关于矩阵感知和对称矩阵补全优化景观的分析。该框架自然地导出了非对称矩阵补全和鲁棒 PCA 的新结果。
引用
@article{arxiv.1704.00708,
title = {No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis},
author = {Rong Ge and Chi Jin and Yi Zheng},
journal= {arXiv preprint arXiv:1704.00708},
year = {2017}
}