中文

超越独立测量:带生成神经网络应用的通用压缩感知

信息论 2021-11-02 v1 math.IT 统计理论 机器学习 统计理论

摘要

我们考虑从含噪线性观测 y=Mx+w\mathbf{y} =\mathbf{M} \mathbf{x}+\mathbf{w} 中恢复结构化信号 xRn\mathbf{x} \in \mathbb{R}^{n} 的问题。测量矩阵建模为 M=BA\mathbf{M} = \mathbf{B}\mathbf{A},其中 BRl×m\mathbf{B} \in \mathbb{R}^{l \times m} 是任意的,ARm×n\mathbf{A} \in \mathbb{R}^{m \times n} 具有独立的亚高斯行。通过改变 B\mathbf{B} 以及 A\mathbf{A} 的亚高斯分布,这给出了一族测量矩阵,其可能具有重尾、相关的行与列,以及动态范围很大的奇异值。当结构给定为可能非凸的锥 TRnT \subset \mathbb{R}^{n} 时,若有效测量数足够,即使存在模型失配,近似经验风险最小化器也被证明是一个鲁棒估计器。在具有独立(亚)高斯测量的经典压缩感知中,人们会问需要多少测量才能恢复 x\mathbf{x}?然而在我们的设定中,有效测量数依赖于 B\mathbf{B} 的性质。我们表明,B\mathbf{B} 的有效秩可用作测量数的替代,若其超过 (TT)Sn1(T-T) \cap \mathbb{S}^{n-1} 的高斯平均宽度的平方,则保证精确恢复。此外,我们详细考察了生成先验的特殊情形,即当 x\mathbf{x} 接近 T=ran(G)T = \mathrm{ran}(G)G:RkRnG: \mathbb{R}^k \rightarrow \mathbb{R}^n 是具有 ReLU 激活函数的生成神经网络(GNN)时。我们的工作依赖于 Jeong、Li、Plan 和 Yilmaz 在 arXiv:2001.10631 中随机矩阵理论的最新结果。

关键词

引用

@article{arxiv.2111.00327,
  title  = {Beyond Independent Measurements: General Compressed Sensing with GNN Application},
  author = {Alireza Naderi and Yaniv Plan},
  journal= {arXiv preprint arXiv:2111.00327},
  year   = {2021}
}