排序凹惩罚回归

Lasso 是有偏的。凹惩罚最小二乘估计（PLSE）利用信号强度来减小该偏差，从而在预测、系数估计与变量选择上得到更紧的误差界。对于预测与估计，Lasso 的偏差也可通过取比选择一致性所要求的更小惩罚水平来减小，但这样的更小惩罚水平依赖于真实系数向量的稀疏度。排序 L1 惩罚估计（Slope）被提出以自适应于此类更小的惩罚水平。然而，凹 PLSE 与 Slope 的优势并不相互包含。我们提出排序凹惩罚估计，以结合凹惩罚与排序惩罚的优势。我们证明排序凹惩罚自适应地选取更小的惩罚水平，同时受益于信号强度，尤其当相当比例的信号强于对应的自适应选取的惩罚水平时。我们发展了局部凸近似，将局部线性与二次近似推广到排序凹惩罚，以方便排序凹 PLSE 的计算，并证明它具有所需的预测与估计误差界。我们在一般优化设定下对惩罚函数进行统一处理，包括上述排序惩罚以及受贝叶斯考虑启发的混合惩罚的惩罚水平与凹性。我们对预测与估计误差的分析仅需设计矩阵的限制特征值条件，且不超出此条件，并额外在所需最小信号强度条件下给出选择一致性。因此，我们的结果也通过移除稀疏 Riesz 条件中稀疏特征值的上界部分， sharpen 了关于凹 PLSE 的已有结果。