中文

含重尾噪声的鲁棒矩阵补全

统计理论 2022-06-10 v1 信息论 机器学习 math.IT 最优化与控制 机器学习 统计理论

摘要

本文研究在重尾且可能非对称噪声存在下的低秩矩阵补全问题,旨在给定一组高度不完整的含噪观测条目时估计潜在的低秩矩阵。尽管矩阵补全问题在过去十年备受关注,但当观测被重尾噪声污染时,仍缺乏理论理解。已有理论不足以解释经验结果,且无法刻画估计误差对噪声水平的最优依赖。本文中,我们采用自适应 Huber 损失以适配重尾噪声,当损失函数中的参数经过精心设计以平衡 Huber 化偏差与对离群值的鲁棒性时,该损失对大且可能非对称的误差具有鲁棒性。随后,我们通过平衡的低位秩 Burer-Monteiro 矩阵分解与具有鲁棒谱初始化的梯度下降,提出一种高效非凸算法。我们证明,仅在对误差分布有有界二阶矩条件(而非亚高斯假设)下,所提算法生成的迭代的欧氏误差会几何快速地下降,直至达到极小极大最优统计估计误差,该误差与亚高斯情形同阶。这一重大进展背后的关键技术是一个强大的留一法分析框架。理论结果得到了我们模拟研究的证实。

关键词

引用

@article{arxiv.2206.04276,
  title  = {Robust Matrix Completion with Heavy-tailed Noise},
  author = {Bingyan Wang and Jianqing Fan},
  journal= {arXiv preprint arXiv:2206.04276},
  year   = {2022}
}