存在伪平稳点时过参数化矩阵分解的计算性质
机器学习
2022-02-09 v1
摘要
受插值机器在信号处理与机器学习中日益重要的作用推动，本文研究过参数化矩阵分解的计算性质。在此背景下，优化景观中可能包含伪平稳点（spurious stationary points, SSPs），这些点被证明是满秩矩阵。这些SSP的存在意味着在过参数化矩阵分解中不可能期望任何全局保证。例如，当从某个SSP初始化时，梯度流将永远被困在该处。尽管如此，尽管存在这些SSP，我们在本文中证明：只要对应价值函数的初始化是秩亏的且充分接近优化问题的可行集，其梯度流就会收敛到全局极小元。我们通过数值实验观察到，受原始对偶算法启发的所提梯度流的启发式离散化在随机初始化时是成功的。我们的结果与局部精化方法形成鲜明对比，后者要求初始化接近优化问题的最优集。更具体地，我们成功避开了SSP所设的陷阱，是因为梯度流始终维持秩亏，而非因为附近没有SSP——后者正是局部精化方法的情况。此外，广泛使用的限制等距性质在我们的主要结果中不起作用。
引用
@article{arxiv.2112.13269,
title = {Over-Parametrized Matrix Factorization in the Presence of Spurious Stationary Points},
author = {Armin Eftekhari},
journal= {arXiv preprint arXiv:2112.13269},
year = {2022}
}