无正则化的集中式与分布式低秩矩阵恢复的整体几何
最优化与控制
2023-07-19 v2
摘要
低秩矩阵恢复是信号处理与机器学习中的一个基本问题。近来一种非常流行的恢复低秩矩阵 X 的方法是将它分解为两个较小矩阵的乘积，即 X = UV^T，然后优化 U、V 而非 X。尽管由此产生非凸性，近期结果表明许多分解后的目标函数实际上具有良性的整体几何——无虚假局部极小且满足所谓的严格鞍性质——从而确保许多局部搜索算法收敛到全局极小。此类结果在原目标函数受限强凸且光滑时成立。然而，这些结果大多实际考虑了一个包含平衡正则器的修正代价函数。尽管该平衡正则器有助于理论推导，但在实践中似乎并非必要。本工作中，我们通过证明未经改动、不含平衡正则器的分解非凸问题同样具有类似的良性整体几何，弥合了这一理论—实践鸿沟。此外，我们还将理论结果推广至分布式优化领域。
引用
@article{arxiv.2003.10981,
title = {The Global Geometry of Centralized and Distributed Low-rank Matrix Recovery without Regularization},
author = {Shuang Li and Qiuwei Li and Zhihui Zhu and Gongguo Tang and Michael B. Wakin},
journal= {arXiv preprint arXiv:2003.10981},
year = {2023}
}