关于岭回归和OLS p值与预条件稀疏惩罚回归的注记
机器学习
2014-12-04 v2 统计方法学
摘要
当设计矩阵具有标准正交列时，对普通最小二乘（OLS）解进行“软阈值”得到Lasso解[Tibshirani, 1996]。如果使用Puffer预条件Lasso [Jia and Rohe, 2012]，则该结果从标准正交设计推广到满秩设计（定理1）。定理2改进了Puffer预条件子，使得Lasso选择的模型与移除OLS解中p值最大的元素相同。使用广义Puffer预条件子，定理3将岭回归与预条件Lasso联系起来；该结果适用于高维情形，p > n。标准Lasso类似于前向选择[Efron et al., 2004]，而定理1、2和3表明预条件Lasso更类似于后向消除。这些结果适用于l1以外的稀疏惩罚；对于一大类稀疏和非凸技术（例如SCAD和MC+），结果对所有局部极小值成立。
引用
@article{arxiv.1411.7405,
title = {A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression},
author = {Karl Rohe},
journal= {arXiv preprint arXiv:1411.7405},
year = {2014}
}