通过 $\ell_1$ 和 $\ell_1+\ell_2$ 惩罚在线性和逻辑回归模型中进行诚实变量选择

本文研究了在有限样本下通过 $\ell_1$ 和 $\ell_1+\ell_2$ 类型惩罚方案进行正确的变量选择。变量选择的渐近一致性可直接从该分析中得出。我们重点关注逻辑回归和线性回归模型。以下问题是本文的核心：给定置信水平 $1-\delta$，在设计矩阵的何种假设下，对于何种强度的信号以及何种调节参数值，我们能够以给定的置信水平识别出真实模型？形式上，若 $\widehat{I}$ 是真实变量集 $I^*$ 的一个估计，我们研究在给定样本量 $n$、参数个数 $M$ 和置信度 $1-\delta$ 的条件下，使得 $\mathbb{P}(\widehat{I}=I^*)\geq 1-\delta$ 成立的条件。我们证明，在可识别模型中，两种方法都能恢复大小为 $\frac{1}{\sqrt{n}}$ 的系数，仅相差小的乘法常数以及 $M$ 和 $\frac{1}{\delta}$ 的对数因子。对于我们在此考虑的模型，在变量选择问题上，$\ell_1+\ell_2$ 惩罚相对于 $\ell_1$ 惩罚的优势很小。前者估计是唯一的，并且对于高度相关的数据矩阵，随着 $\ell_2$ 部分的调节参数增加会变得更稳定，但该参数值增加过大可能会妨碍变量选择。