论 Lasso 的设计依赖型次优性

本文研究了设计矩阵对线性回归中估计稀疏参数之能力（或无能）的影响。更具体地，我们刻画了当设计矩阵的最小奇异值远离零时估计的最优速率。除了这一信息论结果外，我们还提供并分析了一种同时具备统计最优性与计算高效性的方法，该方法基于对普通最小二乘估计量进行软阈值处理。令人尤为惊讶的是，我们证明了 Lasso 估计量——尽管其已被广泛用于稀疏线性回归——在最小奇异值较小时是可证明的 minimax 速率次优的。我们给出了一族设计矩阵与稀疏参数，对于它们我们可以保证，任意正则化参数取值下的 Lasso——包括依赖数据与随机化的取值——均会失败，其失败体现为估计速率在样本量上存在多项式因子级别的次优性。我们的下界足够强，足以排除所有形式 Lasso 的统计最优性，包括其广受欢迎的惩罚、范数约束及交叉验证变体。