低秩矩阵优化中非凸分解与流形表述几乎等价
最优化与控制
2024-08-14 v3 信息论
机器学习
信号处理
math.IT
机器学习
摘要
在本文中，我们考虑了低秩半正定 (PSD) 和一般矩阵优化中广泛研究的流形表述与分解表述之间的几何景观联系。我们在一阶驻点 (FOSP) 处建立了黎曼 Hessian 矩阵与欧几里得 Hessian 矩阵谱之间的一个夹逼关系。基于此，我们得到了流形表述与分解表述在 FOSP 集合、二阶驻点 (SOSP) 集合以及严格鞍点集合上的等价性。此外，我们证明了这个夹逼关系可用于将更多定量的几何性质从一种表述传递到另一种表述。我们讨论了 PSD 情形与一般情形下景观联系的异同。据我们所知，这是处理秩约束的流形表述与分解表述之间的第一个几何景观联系，它为文献中观察到的分解方法和流形方法在低秩矩阵优化中相似的实证表现提供了几何解释。在一般低秩矩阵优化中，我们还提供了两种分解表述（无正则化和有正则化）之间的景观联系。通过应用这些几何景观联系，特别是夹逼关系，我们能够回答文献中未解决的问题，并在相位恢复的几何分析、良态低秩矩阵优化以及机器学习和信号处理中分解正则化作用的等应用方面建立更强的结果。
引用
@article{arxiv.2108.01772,
title = {Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization},
author = {Yuetian Luo and Xudong Li and Anru R. Zhang},
journal= {arXiv preprint arXiv:2108.01772},
year = {2024}
}