低复杂度矩阵补全问题的分解方法：伪解指数级数量与梯度方法的失效
最优化与控制
2021-10-22 v1 机器学习
摘要
众所周知，Burer-Monteiro（B-M）分解方法可在 RIP 条件下高效求解低秩矩阵优化问题。自然会问，基于 B-M 分解的方法是否能在任何具有低信息论复杂度的低秩矩阵优化问题（即具有唯一解的多项式时间可解问题）上成功。本工作中，我们对上述问题给出否定回答。我们研究 B-M 分解的多项式时间可解矩阵补全（MC）问题的景观，MC 是不具备 RIP 条件的低秩矩阵优化问题中最流行的子类。我们构造了一个具有指数多伪局部极小值的多项式时间可解 MC 问题实例，这导致大多数基于梯度的方法失效。基于这些结果，我们定义了一种新的复杂度度量，潜在地衡量基于 B-M 分解方法的低秩矩阵优化问题的可解性。此外，我们表明真实矩阵的更多测量会恶化景观，这进一步揭示了 B-M 分解在一般低秩矩阵优化问题上的不良表现。
引用
@article{arxiv.2110.10279,
title = {Factorization Approach for Low-complexity Matrix Completion Problems: Exponential Number of Spurious Solutions and Failure of Gradient Methods},
author = {Baturalp Yalcin and Haixiang Zhang and Javad Lavaei and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2110.10279},
year = {2021}
}
备注
21 pages, 1 figure