中文

矩阵去噪中对未知噪声分布的自适应

统计理论 2018-11-06 v3 信息论 math.IT 统计方法学 统计理论

摘要

我们考虑从观测 Y=X+W\boldsymbol{Y} = \boldsymbol{X}+\boldsymbol{W} 中估计未知矩阵 XRm×n\boldsymbol{X}\in {\mathbb R}^{m\times n} 的问题,其中 W\boldsymbol{W} 是一个各项独立同分布的噪声矩阵,目标是最小化以算子范数度量的估计误差。假设底层信号 X\boldsymbol{X} 是低秩的且与典范基不相干,我们证明了在 m,nm,n\to\infty 的高维极限下,极小极大风险等价于 (mn)/IW(\sqrt{m}\vee\sqrt{n})/\sqrt{I_W},其中 IWI_W 是噪声的 Fisher 信息。关键的是,我们开发了一种高效过程,在噪声分布上自适应地(在某些正则性假设下)达到该风险。令 X=UΣVT\boldsymbol{X} = \boldsymbol{U}{\boldsymbol{\Sigma}}\boldsymbol{V}^{{\sf T}}——其中 URm×r\boldsymbol{U}\in {\mathbb R}^{m\times r}VRn×r\boldsymbol{V}\in{\mathbb R}^{n\times r} 为正交矩阵,且 rrm,nm,n\to\infty 时保持固定——我们使用我们的方法估计 U\boldsymbol{U}V\boldsymbol{V}。标准谱方法仅当 X\boldsymbol{X} 的奇异值大于 (mn)1/4Var(W11)1/2(mn)^{1/4}{\rm Var}(W_{11})^{1/2} 时才提供因子 U,V\boldsymbol{U},\boldsymbol{V} 的非平凡估计(弱恢复)。我们证明新方法将弱恢复下推至信息论最优阈值 (mn)1/4IW1/2(mn)^{1/4}I_W^{1/2}

关键词

引用

@article{arxiv.1810.02954,
  title  = {Adapting to Unknown Noise Distribution in Matrix Denoising},
  author = {Andrea Montanari and Feng Ruan and Jun Yan},
  journal= {arXiv preprint arXiv:1810.02954},
  year   = {2018}
}