ET-Lasso：一种用于高维数据 Lasso 型正则化的新型高效调参方法
机器学习
2019-05-21 v2 机器学习
摘要
L1 正则化（Lasso）已被证明是一种同时选择相关特征并估计模型系数的通用工具，并已广泛应用于基因组研究、金融和生物医学成像等许多研究领域。尽管其很流行，但保证 Lasso 的特征选择一致性非常具有挑战性，尤其是当数据维度极大时。一种改进特征选择一致性的方法是选择理想的调谐参数。传统调参准则主要关注最小化估计预测误差或最大化后验模型概率，如交叉验证和 BIC，当特征数量极大时，这些方法可能耗时或无法控制错误发现率（FDR）。另一种方法是引入伪特征来学习原始特征的重要性。近来，Knockoff 滤波器被提出用于在特征选择时控制 FDR。然而，其性能对期望 FDR 阈值的选择敏感。受这些想法的启发，我们提出了一种使用伪特征获得理想调谐参数的新方法。特别地，我们提出高效调参 Lasso（ET-Lasso），通过在线型模型中添加置换特征作为伪特征来分离活跃与非活跃特征。伪特征本质上构造为非活跃的，可用于获得一个截断值以选择分离活跃与非活跃特征的调谐参数。在模拟和真实世界数据应用上的实验研究表明，ET-Lasso 在广泛场景下能高效且有效地选择活跃特征。
引用
@article{arxiv.1810.04513,
title = {ET-Lasso: A New Efficient Tuning of Lasso-type Regularization for High-Dimensional Data},
author = {Songshan Yang and Jiawei Wen and Xiang Zhan and Daniel Kifer},
journal= {arXiv preprint arXiv:1810.04513},
year = {2019}
}
备注
Figure 1 in the real data example is changed to plot the difference of true values and predicted values; added references for section 1; more explanation for section 2.3