分段线性正则化解路径

我们考虑通用的正则化优化问题 $\hat{\mathsf{\beta}}(\lambda)=\arg \min_{\beta}L({\sf{y}},X{\sf{\beta}})+\lambda J({\sf{\beta}})$。Efron, Hastie, Johnstone 和 Tibshirani [Ann. Statist. 32 (2004) 407--499] 已证明，对于 LASSO——即当 $L$ 为平方误差损失且 $J(\beta)=\|\beta\|_1$ 为 $\beta$ 的 $\ell_1$ 范数时——最优系数路径是分段线性的，即 $\partial \hat{\beta}(\lambda)/\partial \lambda$ 是分段常数。我们推导了产生分段线性系数路径的（损失 $L$，惩罚 $J$）对性质的通用刻画。此类对允许高效生成完整的正则化系数路径。我们研究了由此产生的高效路径跟踪算法的性质。利用我们的结果，我们提出了用于回归和分类的 LASSO 稳健版本，并为文献中的现有问题（包括 Mammen 和 van de Geer 的局部自适应回归样条）开发了新的高效算法。