通过奇异值投影保证秩最小化
机器学习
2009-10-20 v3 信息论
math.IT
摘要
在仿射约束下最小化矩阵的秩是机器学习和统计学中具有许多重要应用的基本问题。在本文中，我们提出了一种简单快速的算法SVP（奇异值投影）用于仿射约束下的秩最小化（ARMP），并证明SVP能够恢复满足“受限等距性质”的仿射约束的最小秩解，同时展示了我们的方法对噪声的鲁棒性。我们的结果在三个重要方面改进了Recht、Fazel和Parillo（RFP07）以及Lee和Bresler（LB09）近期取得的突破：1）我们的方法（SVP）在分析上显著更简单，实现上也更容易；2）我们在严格更弱的等距假设下给出了恢复保证；3）即使在存在噪声的情况下，我们也给出了SVP的几何收敛保证，并且如经验所示，SVP在真实世界和合成问题上显著更快。此外，我们解决了实际重要的低秩矩阵补全问题（MCP），这可以看作是ARMP的一个特例。我们通过实验证明，我们的算法能从几乎最优数量的均匀采样条目中恢复低秩非相干矩阵。我们在证明精确恢复方面取得了部分进展，并通过展示一个更受限的等距性质，为SVP应用于矩阵补全时的强大性能提供了一些直观解释。对于ARMP和矩阵补全问题，我们的算法比现有方法（如\cite{RFP07,CR08,CT09,CCS08,KOM09,LB09}中的方法）快一个数量级，并且对噪声的鲁棒性也显著更强。
引用
@article{arxiv.0909.5457,
title = {Guaranteed Rank Minimization via Singular Value Projection},
author = {Raghu Meka and Prateek Jain and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:0909.5457},
year = {2009}
}
备注
An earlier version of this paper was submitted to NIPS-2009 on June 5, 2009