$l_0$ 与 $l_1$ 惩罚回归的风险比比较
统计理论
2015-10-22 v1 统计方法学
统计理论
摘要
人们越来越关注使用 正则化代替 正则化进行特征选择。我们提出了理论结果，表明虽然 惩罚线性回归的表现优于 正则化的程度从未超过一个常数因子，但在某些情况下，使用 惩罚比使用 惩罚要差无穷倍。我们还表明，“最优”的 解往往不如使用逐步回归找到的 解。我们也比较了求解这两个问题的算法，并表明虽然可以高效地找到 问题的解，但“最优”的 解往往不如使用贪婪经典逐步回归找到的 解。此外，我们表明，通过使用 准则选择最佳 模型（针对不同的正则化惩罚），可以改进通过求解凸 问题获得的解。换言之，对正确问题的近似解可能优于对错误问题的精确解。
引用
@article{arxiv.1510.06319,
title = {A Risk Ratio Comparison of $l_0$ and $l_1$ Penalized Regression},
author = {Kory D. Johnson and Dongyu Lin and Lyle H. Ungar and Dean P. Foster and Robert A. Stine},
journal= {arXiv preprint arXiv:1510.06319},
year = {2015}
}