广义不可表示性条件下的高维回归模型选择

在高维回归模型中，响应变量与$p$个协变量线性相关，但样本量$n$小于$p$。我们假设只有一小部分协变量是“活跃的”（即对应的系数非零），并考虑识别活跃协变量的模型选择问题。一种流行的方法是通过Lasso（$\ell_1$正则化最小二乘）估计回归系数。已知只有当不相关协变量与相关协变量大致正交时，才能正确识别活跃集，这通过所谓的“不可表示性”条件来量化。在本文中，我们研究了“Gauss-Lasso”选择器，这是一种简单的两阶段方法，首先求解Lasso，然后对Lasso活跃集进行普通最小二乘。我们提出了“广义不可表示性条件”（GIC），这是一个比不可表示性弱得多的假设。我们证明，在GIC下，Gauss-Lasso正确恢复了活跃集。