Lasso 的分布：稀疏球上的均匀控制与自适应参数调优

Lasso 是一种用于高维问题的流行回归方法，其中参数 $\theta_1,\dots,\theta_N$ 的个数大于样本数 $n$：$N>n$。一种有用的启发式方法将 Lasso 估计量的统计性质与一个简单的软阈值去噪器的性质联系起来，在该去噪问题中，参数 $(\theta_i)_{i\le N}$ 被观测于高斯噪声中，且方差经过精细调节。早期工作在极限 $n,N\to\infty$ 下、在参数 $\theta$ 的取值点以及正则化参数的值上证实了这一图像。此处，我们考虑一个标准随机设计模型，并证明其经验分布围绕高斯去噪模型所给预测的指数的集中性。关键的是，我们的结果关于属于 $\ell_q$ 球（$q\in [0,1]$）的 $\theta$ 以及关于正则化参数是一致的。这允许推导各种数据驱动的正则化调优过程的锐利结果。我们的证明使用了高斯比较不等式，特别是由 Thrampoulidis、Oymak 和 Hassibi 发展的 Gordon 极小极大定理的一个版本，其控制 Lasso 优化问题的最优值。关键的是，我们证明了极小化子在 Wasserstein 距离下的稳定性性质，从而可以刻画极小化子本身的性质。