核范数惩罚与含噪低秩矩阵补全的最优速率
统计理论
2016-03-24 v4 机器学习
统计理论
摘要
本文研究迹回归模型，其中观测到未知m₁×m₂矩阵A₀的n个条目或条目的线性组合，并受到噪声污染。我们提出了A₀的一个新的核范数惩罚估计量，并在期望等距条件下，针对任意n, m₁, m₂值，为该估计量建立了一个通用的锐化Oracle不等式。然后将该方法应用于矩阵补全问题。在这种情况下，估计量具有简单的显式形式，我们证明它满足Oracle不等式，其收敛速度比以往工作更快。这些不等式尤其在高维设定m₁m₂ ≫ n下成立。我们证明，所得到的速率在极小极大意义下是最优的（最多相差对数因子），并且还针对任意固定矩阵A₀，推导出我们估计量收敛速度的一个非极小极大下界，该下界与上界仅相差一个常数因子。最后，我们证明我们的程序能以接近1的概率精确恢复A₀的秩。我们还讨论了统计学习设定，其中不存在由A₀确定的底层模型，目标是找到最佳逼近数据的迹回归模型。
引用
@article{arxiv.1011.6256,
title = {Nuclear norm penalization and optimal rates for noisy low rank matrix completion},
author = {Vladimir Koltchinskii and Alexandre B. Tsybakov and Karim Lounici},
journal= {arXiv preprint arXiv:1011.6256},
year = {2016}
}