凸正则化估计量的一阶展开

我们考虑高维回归问题中带随机设计的凸惩罚估计量的一阶展开。我们的设定包含线性回归和逻辑回归作为特例。对于给定的惩罚函数 $h$ 及相应的惩罚估计量 $\hat\beta$，我们构造一个量 $\eta$，即 $\hat\beta$ 的一阶展开，使得 $\hat\beta$ 与 $\eta$ 之间的距离比估计误差 $\|\hat{\beta} - \beta^*\|$ 小一个数量级。在此意义上，一阶展开 $\eta$ 可被视为将数理统计文献中的影响函数推广至高维正则化估计量。此类一阶展开意味着 $\hat{\beta}$ 的风险渐近等于 $\eta$ 的风险，从而精确刻画了 $\hat\beta$ 的 MSE；对于各向同性设计，该刻画形式尤为简洁。此类一阶展开也导出了基于 $\hat{\beta}$ 的推断结果。我们针对三种正则化子给出此类一阶展开存在的充分条件：约束形式 Lasso、惩罚形式 lasso 以及 Group-Lasso。结果在一些条件下适用于一般损失函数，且这些条件在线性回归的平方损失与逻辑模型的对数损失下均满足。