有限维下 SLOPE 惩罚序列的高效设计

在线性回归中，SLOPE 是一种新的凸分析方法，通过排序 L1 惩罚推广了 Lasso：较大的拟合系数受到更重的惩罚。这种依赖于幅值的正则化需要输入惩罚序列 $\lambda$，而非如 Lasso 情形中的标量惩罚，从而使得设计在计算上极为昂贵。在本文中，我们提出两种高效算法来设计可能高维的 SLOPE 惩罚，以最小化均方误差。对于高斯数据矩阵，我们在近似消息传递机制下提出一阶投影梯度下降（PGD）。对于一般数据矩阵，我们给出零阶坐标下降（CD）来设计 SLOPE 的一个子类，称为 k 级 SLOPE。我们的 CD 允许在精度与计算速度之间进行有用的权衡。我们通过合成数据与真实世界数据集上的大量实验展示了采用我们所设计惩罚的 SLOPE 的性能。