通过 ReLU 生成网络实现鲁棒单比特恢复:近最优统计速率与全局景观分析
统计理论
2020-08-25 v3 机器学习
机器学习
统计理论
摘要
我们研究鲁棒单比特压缩感知问题,其目标是设计一种算法,通过 个量化含噪测量,以\textit{一致}方式忠实恢复任意稀疏目标向量 。具体而言,我们为该问题考虑一个新框架:通过已知的 层 ReLU 生成网络 映射低维表示 ,使得 ,从而隐式强制稀疏性。该框架在无需已知稀疏基下对 施加低维先验。我们提出通过求解无约束经验风险最小化(ERM)来恢复目标 。在弱\textit{亚指数测量假设}下,我们建立了统计与计算的联合分析。特别地,我们证明此新框架中的 ERM 估计量达到 的统计速率,以误差 一致恢复任意 。当网络较浅(即 较小)时,我们表明该速率与信息论下界在 的对数因子内匹配。从计算视角,我们证明在网络权重适当条件下,所提经验风险虽非凸,但在真表示 及其负倍数附近小邻域外无驻点;进一步,在网络权重附加假设下,我们表明经验风险的全局极小停留在 而非其负倍数附近的邻域内。
引用
@article{arxiv.1908.05368,
title = {Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis},
author = {Shuang Qiu and Xiaohan Wei and Zhuoran Yang},
journal= {arXiv preprint arXiv:1908.05368},
year = {2020}
}