中文

基于生成先验的尖峰矩阵恢复的非渐近保证

机器学习 2020-11-10 v2 信息论 机器学习 math.IT 最优化与控制 统计理论 统计理论

摘要

统计学和机器学习中的许多问题都需要从含噪数据中重建一个秩一信号矩阵。对秩一分量施加额外的先验信息通常是保证良好恢复性能的关键。其中一种低秩分量的先验是稀疏性,这引出了稀疏主成分分析问题。不幸的是,有强有力的证据表明,该问题存在一个可能是根本性的计算-统计鸿沟。在这项工作中,我们研究了一种替代先验,其中低秩分量位于一个已训练的生成网络的像集中。我们为在扩展高斯网络先验下的秩一矩阵恢复提供了具有最优样本复杂度(至多对数因子)的非渐近分析。具体来说,我们为一个非线性最小二乘目标函数建立了一个有利的全局优化景观,前提是样本数量与生成模型输入的维度处于同一数量级。这一结果表明,在有限数据、非渐近的情况下,生成先验对于结构化的秩一矩阵恢复没有计算-统计鸿沟。我们在Wishart和Wigner尖峰矩阵模型两种情况下给出了这一分析。

关键词

引用

@article{arxiv.2006.07953,
  title  = {Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors},
  author = {Jorio Cocola and Paul Hand and Vladislav Voroninski},
  journal= {arXiv preprint arXiv:2006.07953},
  year   = {2020}
}

备注

To appear at NeurIPS 2020