低秩矩阵恢复中一个好的初始点相当于多少样本？
机器学习
2020-11-13 v2 机器学习
摘要
给定足够大量的标注数据，非凸低秩矩阵恢复问题不包含伪局部极小点，因此局部优化算法保证能从任意初始猜测收敛到全局极小点。然而，这一理论保证实际所需的数据量非常悲观，因为它必须防止伪局部极小点在任何地方（包括对抗性位置）出现。相比之下，基于良好初始猜测的已有工作的数据需求更切合实际，因为它们允许伪局部极小点存在于解邻域之外。在本文中，我们量化了初始猜测质量与相应数据需求降低之间的关系。使用受限等距常数作为样本复杂度的替代，我们计算出防止优化地形上每个特定点成为伪局部极小点所需的样本锐阈值。通过对地形区域上的阈值进行优化，我们发现对于真实值附近的初始点，初始猜测质量的线性提升相当于样本复杂度的常数倍改善。
引用
@article{arxiv.2006.06915,
title = {How Many Samples is a Good Initial Point Worth in Low-rank Matrix Recovery?},
author = {Gavin Zhang and Richard Y. Zhang},
journal= {arXiv preprint arXiv:2006.06915},
year = {2020}
}
备注
16 pages, 2 figures