SLOPE 对未知稀疏性具有适应性且渐近极小极大

我们考虑高维稀疏回归问题，其中观测到 $y = X \beta + z$，$X$ 为 $n \times p$ 设计矩阵，$z$ 为 $n$ 维独立高斯误差向量，方差均为 $\sigma^2$。我们关注最近引入的 SLOPE 估计量（Bogdan 等，2014），其通过依赖于秩的惩罚 $\sum_{1 \le i \le p} \lambda_i |\hat \beta|_{(i)}$ 对最小二乘估计进行正则化，其中 $|\hat \beta|_{(i)}$ 为拟合系数的第 $i$ 大模长。在高斯设计下，即 $X$ 的元素为 i.i.d.~$\mathcal{N}(0, 1/n)$，我们证明 SLOPE 在权重 $\lambda_i$ 约等于 $\sigma \cdot \Phi^{-1}(1-iq/(2p))$（$\Phi^{-1}(\alpha)$ 为标准正态的 $\alpha$ 分位数，$q$ 为 $(0,1)$ 中固定数）时，实现的估计平方误差满足：当维度 $p$ 增至 $\infty$ 时，$$\sup_{\| \beta\|_0 \le k} \, \mathbb{P} \left(\| \hat{\beta}_{\text{SLOPE}} - \beta \|^2 > (1+\epsilon) \, 2\sigma^2 k \log(p/k) \right) \longrightarrow 0,$$ 其中 $\epsilon > 0$ 为任意小常数。这在关于 $\ell_0$-稀疏水平的弱假设下成立，即 $k/p \rightarrow 0$ 且 $(k\log p)/n \rightarrow 0$，并且是尖锐的，因为这是任何估计量所能达到的最佳可能误差。一个显著特征是 SLOPE 不需要任何稀疏度知识，却能自动适应以在广泛的 $\ell_0$-稀疏类上产生最优总平方误差。我们不知有其他具有此性质的估计量。