基于抗擦除设计的针对预处理 Lasso 的分布硬度
数据结构与算法
2022-03-08 v1 信息论
机器学习
math.IT
统计理论
机器学习
统计理论
摘要
具有病态条件高斯随机设计的稀疏线性回归被广泛认为存在统计/计算鸿沟,但令人惊讶的是,即使以受限算法类难以处理的例子形式,也几乎没有支持这一信念的形式化证据。近期工作表明,对于某些协方差矩阵,广义的预处理 Lasso 规划在次线性样本数下,对多对数稀疏信号必然无法成功。然而,该下界仅表明对每个预条件子,至少存在一个它无法成功恢复的信号。这留下了如下可能:例如,尝试多个不同的预条件子可解决每一个稀疏线性回归问题。本文证明了克服此问题的更强下界。对于适当的协方差矩阵,我们构造了单一信号分布,在该分布下,任何可逆预处理 Lasso 规划若未获得线性数量样本,则以高概率失败。令人惊讶的是,我们下界的核心在于压缩感知中的一个新的正面结果。我们证明标准稀疏随机设计以高概率对抗性测量擦除具有鲁棒性,即若擦除 个测量,则除 个信号坐标外其余所有坐标在信息论上仍可辨识。据我们所知,这是首次在压缩感知中研究擦除下任意稀疏信号的部分可恢复性。
引用
@article{arxiv.2203.02824,
title = {Distributional Hardness Against Preconditioned Lasso via Erasure-Robust Designs},
author = {Jonathan A. Kelner and Frederic Koehler and Raghu Meka and Dhruv Rohatgi},
journal= {arXiv preprint arXiv:2203.02824},
year = {2022}
}
备注
39 pages