中文

通过 ReLU 生成网络实现鲁棒单比特恢复:近最优统计速率与全局景观分析

统计理论 2020-08-25 v3 机器学习 机器学习 统计理论

摘要

我们研究鲁棒单比特压缩感知问题,其目标是设计一种算法,通过 mm 个量化含噪测量,以\textit{一致}方式忠实恢复任意稀疏目标向量 θ0Rd\theta_0\in\mathbb{R}^d。具体而言,我们为该问题考虑一个新框架:通过已知的 nn 层 ReLU 生成网络 G:RkRdG:\mathbb{R}^k\rightarrow\mathbb{R}^d 映射低维表示 x0Rkx_0 \in \mathbb{R}^k,使得 θ0=G(x0)\theta_0 = G(x_0),从而隐式强制稀疏性。该框架在无需已知稀疏基下对 θ0\theta_0 施加低维先验。我们提出通过求解无约束经验风险最小化(ERM)来恢复目标 G(x0)G(x_0)。在弱\textit{亚指数测量假设}下,我们建立了统计与计算的联合分析。特别地,我们证明此新框架中的 ERM 估计量达到 m=O~(knlogd/ε2)m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2) 的统计速率,以误差 ε\varepsilon 一致恢复任意 G(x0)G(x_0)。当网络较浅(即 nn 较小)时,我们表明该速率与信息论下界在 ε1\varepsilon^{-1} 的对数因子内匹配。从计算视角,我们证明在网络权重适当条件下,所提经验风险虽非凸,但在真表示 x0x_0 及其负倍数附近小邻域外无驻点;进一步,在网络权重附加假设下,我们表明经验风险的全局极小停留在 x0x_0 而非其负倍数附近的邻域内。

关键词

引用

@article{arxiv.1908.05368,
  title  = {Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis},
  author = {Shuang Qiu and Xiaohan Wei and Zhuoran Yang},
  journal= {arXiv preprint arXiv:1908.05368},
  year   = {2020}
}