高维变量选择

本文探讨了以下问题：在高维模型中进行变量选择时，能给出何种统计保证？我们特别关注一些多阶段回归方法的错误率和检验功效。在第一阶段，我们拟合一组候选模型。在第二阶段，我们通过交叉验证选择一个模型。在第三阶段，我们使用假设检验来剔除一些变量。我们将前两个阶段称为“筛选”，将最后一个阶段称为“清洗”。我们考虑了三种筛选方法：lasso、边际回归和向前逐步回归。我们的方法在特定条件下能给出相合的变量选择。