中文

高维含噪情形下稀疏恢复的信息论极限

统计理论 2007-07-13 v2 信息论 math.IT 统计理论

摘要

基于一组 nn 个含噪观测来恢复固定但未知向量 βp\beta^* \in \real^p 的稀疏模式的问题出现在多种场景中,包括回归中的子集选择、图模型选择、信号去噪、压缩感知和构造逼近。令人感兴趣的是模型维度 pp、稀疏度指标 ssβ\beta^* 中非零项的数目)以及观测数 nn 上那些保证稀疏模式渐近完美恢复所必需和/或充分的条件。本文关注稀疏恢复的信息论极限:特别地,对于基于从标准高斯系综抽取的测量向量的含噪线性观测模型,我们推导出了使用最优解码器实现渐近完美恢复的一组充分条件,以及任何解码器(无论其计算复杂度如何)为实现完美恢复必须满足的一组必要条件。这一对最优解码极限的分析补充了我们此前关于使用 Lasso(1\ell_1 约束二次规划)与高斯测量系综进行稀疏恢复 sharp 阈值的工作(ARXIV: math.ST/0605740)。

关键词

引用

@article{arxiv.math/0702301,
  title  = {Information-theoretic limits on sparsity recovery in the high-dimensional and noisy setting},
  author = {Martin J. Wainwright},
  journal= {arXiv preprint arXiv:math/0702301},
  year   = {2007}
}

备注

Appeared as Technical Report 725, Department of Statistics, UC Berkeley January 2007