低秩矩阵感知中通过提升的过参数化：将伪解转化为严格鞍点
最优化与控制
2023-02-16 v1 机器学习
摘要
本文研究过参数化在求解非凸优化问题中的作用。重点在于重要的低秩矩阵感知类问题，我们通过提升技术（lifting technique）和 Burer-Monteiro 分解提出了一类无限层级的 non-convex 问题。这与现有过参数化技术形成对比，后者中搜索秩受矩阵维度限制且不允许任意程度的丰富过参数化。我们表明，尽管该问题的伪解在整个层级中仍为驻点，但它们（在某些技术条件下）将被转化为严格鞍点，并可通过局部搜索方法逃离。这是文献中首个表明过参数化产生负曲率以逃离伪解的结果。我们还推导了消除伪解所需的过参数化程度的上界。
引用
@article{arxiv.2302.07828,
title = {Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points},
author = {Ziye Ma and Igor Molybog and Javad Lavaei and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2302.07828},
year = {2023}
}