非凸矩阵恢复中需要多少限制等距性？
机器学习
2018-11-01 v2 最优化与控制
机器学习
摘要
当低秩矩阵恢复实例的线性测量满足限制等距性质（RIP）——即它们近似保范时——已知该问题不包含伪局部极小值，从而保证精确恢复。在本文中，我们证明了适度的 RIP 不足以消除伪局部极小值，因此现有结果只能适用于近乎完美的 RIP。事实上，反例无处不在：我们证明了每一个 x 都是满足 RIP 的秩为 1 的矩阵恢复实例的伪局部极小值。一个具体的反例具有 RIP 常数 ，但会导致随机初始化的随机梯度下降（SGD）在 12% 的情况下失败。SGD 通常能够避免并逃离伪局部极小值，但这一经验结果表明它有时会被它们的存在所击败。因此，虽然精确恢复保证可能需要证明不存在伪局部极小值，但仅基于保范的论证将仅适用于一小部分近乎各向同性的实例。
引用
@article{arxiv.1805.10251,
title = {How Much Restricted Isometry is Needed In Nonconvex Matrix Recovery?},
author = {Richard Y. Zhang and Cédric Josz and Somayeh Sojoudi and Javad Lavaei},
journal= {arXiv preprint arXiv:1805.10251},
year = {2018}
}
备注
32nd Conference on Neural Information Processing Systems (NIPS 2018)