最优子集选择、前向逐步选择与 Lasso 的扩展比较
统计方法学
2017-08-01 v2 统计计算
摘要
在令人振奋的新研究中，Bertsimas 等人（2016）证明了回归建模中的经典最优子集选择问题可以表述为混合整数优化（MIO）问题。利用 MIO 算法的最新进展，他们证明了最优子集选择现在可以在比统计学界先前认为可能的规模大得多的问题上求解。他们给出了最优子集选择与其他流行变量选择方法的实证比较，特别是 lasso 和前向逐步选择。令人惊讶的是（对我们而言），他们的模拟表明最优子集选择在预测精度方面始终优于这两种方法。在此，我们提出了一组扩展的模拟，以进一步阐明这些比较。结论大致如下： 最优子集选择与 lasso 均非一致优于对方，其中最优子集选择通常在高信噪比（SNR）机制下表现更好，而 lasso 在低 SNR 机制下表现更好； 最优子集选择与前向逐步选择在整个过程中表现非常相似； 松弛 lasso（实际上是 Meinshausen 2007 年定义的原始松弛估计器的简化版本）是总体赢家，其在低 SNR 场景下的表现与 lasso 相当，在高 SNR 场景下的表现与最优子集选择相当。
引用
@article{arxiv.1707.08692,
title = {Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso},
author = {Trevor Hastie and Robert Tibshirani and Ryan J. Tibshirani},
journal= {arXiv preprint arXiv:1707.08692},
year = {2017}
}
备注
18 pages main paper, 34 pages supplement