刻画 SLOPE 权衡：变分视角与 Donoho-Tanner 极限
统计理论
2022-06-07 v2 信息论
机器学习
信号处理
math.IT
机器学习
统计理论
摘要
排序 l1 正则化已被纳入许多求解高维统计估计问题的方法中，包括线性回归中的 SLOPE 估计量。在本文中，我们通过刻画 SLOPE 在错误发现比例（FDP）与真正例比例（TPP）之间，或等价地在第一类错误度量与功效度量之间的最优权衡，来研究这一相对较新的正则化技术如何改善变量选择。假设线性稀疏性机制并在高斯随机设计下，我们得到了 SLOPE 最优权衡的上界，表明其具备突破 Donoho-Tanner 功效极限的能力。作为参照，该极限是或许最流行的基于 l1 的方法 Lasso 即使具有任意强效应量所能达到的最高可能功效。接下来，我们推导了一个紧下界，刻画了排序 l1 正则化在最优地以 TPP 换取 FDP 方面的基本极限。最后，我们证明在任意问题实例上，具有某种正则化序列的 SLOPE 同时优于 Lasso，表现为具有更小的 FDP、更大的 TPP 和更小的 l2 估计风险。我们的证明基于一种新技术，该技术将变分法问题归约为一类无限维凸优化问题，并利用了近似消息传递理论中一个非常近期的结果。
引用
@article{arxiv.2105.13302,
title = {Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit},
author = {Zhiqi Bu and Jason Klusowski and Cynthia Rush and Weijie J. Su},
journal= {arXiv preprint arXiv:2105.13302},
year = {2022}
}