稀疏高维线性回归中 Lasso+mLS 与 Lasso+Ridge 的渐近性质

我们在稀疏高维线性回归模型下研究了 Lasso+mLS 和 Lasso+Ridge 的渐近性质：即先由 Lasso 选择预测变量，再由修正最小二乘法 (mLS) 或 Ridge 估计其系数。首先，我们提出了一种基于 Lasso+mLS 和 Lasso+Ridge 之后进行参数残差自举的有效参数估计推断程序。其次，我们推导了 Lasso+mLS 和 Lasso+Ridge 的渐近无偏性。具体而言，我们表明它们的偏差以指数速率衰减，并且对于均方误差 (MSE) 可以达到 $s/n$ 的 Oracle 收敛速率（其中 $s$ 是非零回归系数的数量，$n$ 是样本量）。第三，我们证明了 Lasso+mLS 和 Lasso+Ridge 是渐近正态的。它们具有 Oracle 性质，意味着它们能以概率收敛于 1 的方式选择真实的预测变量，且非零参数的估计量具有与预先已知零参数时相同的渐近正态分布。事实上，我们的分析不仅限于在选择阶段采用 Lasso，也适用于任何具有错误模型选择概率指数衰减速率的其他模型选择准则。