中文

奇异值阈值化矩阵去噪的极小极大风险

统计理论 2014-11-05 v4 统计理论

摘要

未知的 mmnn 矩阵 X0X_0 需从含噪测量 Y=X0+ZY=X_0+Z 中估计,其中噪声矩阵 ZZ 具有独立同分布的高斯条目。一种流行的矩阵去噪方案求解核范数惩罚问题 minXYXF2/2+λX\operatorname {min}_X\|Y-X\|_F^2/2+\lambda\|X\|_*,其中 X\|X\|_* 表示核范数(奇异值之和)。这是向量情形下 1\ell_1 惩罚在矩阵上的类比。经验观察表明,若 X0X_0 为低秩,则可从含噪测量 YY 中相当准确地恢复它。在比例增长框架下,其中秩 rnr_n、行数 mnm_n 和列数 nn 均彼此成比例地趋于 \infty (rn/mnρr_n/m_n\rightarrow \rho, mn/nβm_n/n\rightarrow \beta),我们评估了渐近极小极大均方误差 M(ρ,β)=limmn,ninfλsuprank(X)rnMSE(X0,X^λ)\mathcal {M}(\rho,\beta)=\lim_{m_n,n\rightarrow \infty}\inf_{\lambda}\sup_{\operatorname {rank}(X)\leq r_n}\operatorname {MSE}(X_0,\hat{X}_{\lambda})。我们的公式涉及四分之一圆律和半圆律(β=1\beta=1,方阵情形)以及 Mar\v{c}enko-Pastur 律(β<1\beta<1,非方阵情形)的不完全矩。对于有限的 mmnn,我们表明随着 X0X_0 的非零奇异值增大,MSE 也随之增加。因此,有限 nn 的最坏情况 MSE(一个可数值计算的量)是在信号 X0X_0“无限强”时达到的。核范数惩罚问题通过对 YY 的奇异值应用软阈值化来求解。我们还推导了极小极大阈值,即最优的奇异值阈值位置 λ(ρ)\lambda^*(\rho)。所有这些结果均针对一般(非方阵、非对称)实矩阵获得。对于方阵对称非负定矩阵也获得了可比的结果。

关键词

引用

@article{arxiv.1304.2085,
  title  = {Minimax risk of matrix denoising by singular value thresholding},
  author = {David Donoho and Matan Gavish},
  journal= {arXiv preprint arXiv:1304.2085},
  year   = {2014}
}

备注

Published in at http://dx.doi.org/10.1214/14-AOS1257 the Annals of Statistics (http://www.imstat.org/aos/) by the Institute of Mathematical Statistics (http://www.imstat.org)