通过自由度调整对 Lasso 去偏

本文研究在线性模型 $y=X\beta+\epsilon$ 中对 Lasso 去偏的方案，其中目标是在方向 $a_0$ 上为 $a_0^T\beta$ 构造置信区间，$X$ 具有 iid $N(0,\Sigma)$ 行。我们表明，先前分析的 Lasso 去偏命题需要一种修正，以在全部稀疏度范围内享有有效性。该修正采取自由度调整的形式，考量 Lasso 所选模型的维数。令 $s_0$ 为真稀疏度。若 $\Sigma$ 已知且使用正比于 $X\Sigma^{-1}a_0$ 的理想得分向量，先前提出的未调整去偏方案在 $s_0\lll n^{2/3}$ 时享有有效性。然而，若 $s_0\ggg n^{2/3}$，未调整方案在某些 $a_0$ 上不能有效：此时有必要通过自由度调整修正现有过程。当 $s_0/p\to 0$ 且 $s_0\log(p/s_0)/n \to 0$ 时，该修正对任意 $a_0$ 赋予渐近有效性。若 $\Sigma$ 未知，当 $$\frac{s_0\log p}{n}+\min\Big\{\frac{s_\Omega\log p}{n},\frac{\|\Sigma^{-1}a_0\|_1\sqrt{\log p}}{\|\Sigma^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_\Omega,s_0)\log p}{\sqrt n}\to0$$ 其中 $s_\Omega=\|\Sigma^{-1}a_0\|_0$ 时，只要去偏估计经自由度调整修正，即对一般 $a_0$ 赋予有效性。对 $s_0,s_\Omega$ 与 $\|\Sigma^{-1}a_0\|_1$ 的依赖性是最优的。我们的估计得分向量提供了一种处理稠密 $a_0$ 的新方法。我们的分析表明，当方向 $a_0$ 上的初始偏差较小时不需要自由度调整，而这由 $\Sigma^{-1}$ 上的严格条件所保证。主要证明论据是一条类似于通常推导 Slepian 引理所用的插值路径。它给出了一个独立的、关于 Lasso 的新的 $\ell_\infty$ 误差界。