SLOPE 是否优于桥式回归？

最近提出的 SLOPE 估计量（arXiv:1407.3824）已被证明在高维稀疏线性回归模型（arXiv:1503.08393）下自适应地达到极小极大 $\ell_2$ 估计速率。这种极小极大最优性在稀疏度水平 $k$、样本量 $n$ 和维度 $p$ 满足 $k/p \rightarrow 0$、$k\log p/n \rightarrow 0$ 的 regime 下成立。在本文中，我们刻画了 SLOPE 在互补 regime（其中 $k$ 和 $n$ 均与 $p$ 线性缩放）下的估计误差，并为 SLOPE 估计量的性能提供新的见解。我们首先推导了 SLOPE 有限样本均方误差（MSE）的集中不等式。MSE 集中围绕的量具有复杂且隐式的形式。通过对该量的精细分析，我们证明在所有 SLOPE 估计量中，LASSO 在低噪声场景下对估计不具有相等非零分量的 $k$-稀疏参数向量是最优的。另一方面，在大噪声场景下，与桥式回归（如 Ridge 估计量）相比，SLOPE 估计量族是次优的。