关于 LASSO、阈值化 LASSO 与阈值化基追踪去噪的符号恢复
统计方法学
2021-09-01 v4
摘要
基追踪(BP)、基追踪去噪(BPDN)和 LASSO 是识别高维线性回归模型中重要预测变量的常用方法，即设计矩阵 X 的行数小于列数时。根据定义，若无噪声且向量 b 在所有满足 Xb=Xs 的向量 s 中具有最小 L1 范数(可识别性条件)，则 BP 唯一恢复回归系数向量 b。此外，LASSO 仅在强得多的不可表示性条件下才能恢复 b 的符号。同时，已知通过对 LASSO 的估计值进行硬阈值化可改善其模型选择性质。本文通过证明：当且仅当 b 可识别且足够大时，阈值化 LASSO、阈值化 BPDN 与阈值化 BP 在有噪与无噪情形下均能恢复 b 的符号，从而支持了这些发现。特别地，若 X 具有独立同分布高斯元素且预测变量数量随样本量线性增长，则这些阈值化估计量可在信号稀疏性渐近低于 Donoho-Tanner 相变曲线时恢复 b 的符号。这与常规 LASSO 形成对比，后者仅在信号稀疏性趋于 0 时渐近恢复 b 的符号。数值实验表明，与不可表示性条件不同，可识别性条件似乎不受 X 矩阵中相关性结构的影响。
引用
@article{arxiv.1812.05723,
title = {On the sign recovery by LASSO, thresholded LASSO and thresholded Basis Pursuit Denoising},
author = {Patrick J. C. Tardivel and Malgorzata Bogdan},
journal= {arXiv preprint arXiv:1812.05723},
year = {2021}
}