通过两层 SLOPE 实现高维推断中的尖锐权衡
统计方法学
2025-07-15 v1 机器学习
摘要
在高维线性回归技术中，Sorted L-One Penalized Estimation (SLOPE) 通过对模型中较大系数施加更重的 正则化来概括 LASSO。为实现这种自适应性，SLOPE 需要指定一套复杂的惩罚序列，即 中的单调惩罚序列，而与 LASSO 仅用的单个惩罚标量不同。当 较大时，对惩罚序列的调参是一个挑战，因为对网格中值的暴力搜索在计算上不可行。在本文中，我们研究了两层 SLOPE，这是 SLOPE 的一个重要子类，仅包含三个超参数。我们在实验和理论上表明，两层 SLOPE不仅保留了一般 SLOPE的优势——例如改进的均方误差和突破 Donoho-Tanner 功率限制——而且在减少惩罚超参数空间方面也具有计算优势。特别是，我们证明了两层 SLOPE 能够对真阳性比例(TPP)和假发现比例(FDP)之间的权衡进行尖锋、理论上紧密的刻画，而与一般 SLOPE 不同，后者仅知道上界和下界。实验评估进一步凸显了两层 SLOPE 在预测变量高度相关、噪声较大或底层信号不稀疏的情形下的有效性。我们的结果表明，两层 SLOPE 是 LASSO 和一般 SLOPE 的一个稳健、可扩展的替代方案，特别适用于实际的高维数据分析。
引用
@article{arxiv.2507.09110,
title = {Sharp Trade-Offs in High-Dimensional Inference via 2-Level SLOPE},
author = {Zhiqi Bu and Jason M. Klusowski and Cynthia Rush and Ruijia Wu},
journal= {arXiv preprint arXiv:2507.09110},
year = {2025}
}