高维中的联合支持恢复：块$\ell_1/\ell_\infty$正则化的优势与风险

考虑使用$\ell_{1}/\ell_{\infty}$正则化回归对$\pdim \times \numreg$的回归系数矩阵进行联合估计。我们分析了$\ell_1/\ell_\infty$正则化二次规划的高维缩放性质，同时考虑了$\ell_\infty$范数下的一致性以及变量选择。我们首先建立了固定设计和随机设计下$\ell_\infty$误差的界以及精确变量选择的充分条件。我们的第二组结果适用于$\numreg = 2$个具有标准高斯设计的线性回归问题，其支持集在$\alpha \in [0,1]$比例的元素上重叠：对于这个问题类，我们证明$\ell_{1}/\ell_{\infty}$正则化方法经历一个相变——即从失败到成功的急剧变化——其特征由重标样本量$\theta_{1,\infty}(n, p, s, \alpha) = n/\{(4 - 3 \alpha) s \log(p-(2- \alpha) s)\}$刻画。该阈值的一个含义是，如果重叠参数足够大（$\alpha > 2/3$），使用$\ell_1 / \ell_{\infty}$正则化能提高统计效率，但对于中等到小的重叠（$\alpha < 2/3$），其统计效率比朴素的基于Lasso的方法更差。这些结果表明，在应用$\ell_1/\ell_\infty$块正则化时需要谨慎：如果数据与其结构匹配不够紧密，相对于计算成本更低的方案，它可能会损害统计性能。