高维正则化回归估计量的普适性

凸高斯极小极大定理（CGMT）已成为分析所谓高维比例 regime 下各种统计估计量精确随机行为的重要理论工具，其中样本量与信号维度同阶。然而，现有 CGMT 机制一个公认的限制在于其对设计矩阵精确高斯性的严格要求，从而使得所获得的高维精确渐近在很大程度上成为各种重要统计模型中的特定高斯理论。本文为广泛一类正则化回归估计量提供了一个尤其兼容 CGMT 机制的结构性普适性框架。具体而言，我们证明若回归估计量 $\hat{\mu}_A$ 有一个足够好的 $\ell_\infty$ 界，则任何可通过 CGMT 对 $\hat{\mu}_G$（在标准高斯设计 $G$ 下）检测到的“结构性质”也对具有独立元素的一般设计 $A$ 下的 $\hat{\mu}_A$ 成立。作为概念验证，我们在三类关键的正则化回归估计量中展示了新普适性框架：Ridge、Lasso 和正则化鲁棒回归估计量，其中证明了风险渐近和/或回归估计量及其他相关量分布的新普适性性质。作为 Lasso 普适性结果的一个主要统计推论，我们验证了在一般设计与误差分布下使用自由度调整的去偏 Lasso 的推断过程。我们还提供了一个反例，表明正则化回归估计量的普适性性质不能推广到一般各向同性设计。