论去偏 Lasso 的有效性

我们考虑高维线性回归模型 $Y = X \beta^0 + \epsilon$，其中 $\epsilon$ 为高斯噪声，$X$ 为高斯随机设计。我们假设 $\Sigma:= E X^T X / n$ 非奇异，并将其逆记为 $\Theta := \Sigma^{-1}$。感兴趣的参数为 $\beta^0$ 的第一个分量 $\beta_1^0$。我们证明，在高维情形下，去偏 Lasso 估计量的渐近方差可以小于 $\Theta_{1,1}$。对于某些此类特殊情形，我们建立了渐近有效性。这些条件包括 $\beta^0$ 是稀疏的，以及 $\Theta$ 的第一列 $\Theta_1$ 不是稀疏的。这些条件取决于 $\Sigma$ 是否已知。