含噪低秩矩阵优化：局部极小值的几何与收敛速率
最优化与控制
2023-03-17 v3 机器学习
机器学习
摘要
本文研究低秩矩阵优化，其在机器学习中已有广泛应用。该问题在矩阵感知这一特例下已通过受限等距性质(RIP)的概念被深入研究，产生了大量关于问题几何景观与常用算法收敛速率的成果。然而，现有结果仅当RIP常数接近于0时，才能处理具有一般目标函数且数据含噪的情形。本文中，我们发展了一个新的数学框架，以远不严格的RIP常数求解上述问题。我们证明，只要无噪目标的RIP常数小于，含噪优化问题的任何伪局部解必接近真值解。通过严格鞍性质，我们还表明可在多项式时间内找到近似解。当RIP常数大于时，我们刻画了问题在真值解附近局部区域内伪局部极小值的几何。与文献中现有结果相比，本文给出了最强的RIP界，并对任意有限方差族随机损坏下一般低秩优化问题的全局与局部优化景观提供了完备的理论分析。
引用
@article{arxiv.2203.03899,
title = {Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate},
author = {Ziye Ma and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2203.03899},
year = {2023}
}