RENT——用于特征选择的重复弹性网技术
机器学习
2021-11-23 v3 应用统计
机器学习
摘要
特征选择是数据科学流程中降低大型数据集相关复杂性的关键步骤。尽管该主题的大量研究聚焦于优化预测性能，少数研究考察特征选择过程中的稳定性。本研究中，我们提出用于特征选择的重复弹性网技术（RENT）。RENT 使用一组带有弹性网正则化的广义线性模型集成，每个模型在不同的训练数据子集上训练。特征选择基于评估所有基模型中特征权重分布的三个准则。这一事实导致选出具有高稳定性、能提升最终模型鲁棒性的特征。此外，与既有特征选择器不同，RENT 针对训练期间难以预测的数据对象识别，为模型解释提供了有价值的信息。在我们的实验中，我们在八个用于二分类与回归的多变量数据集上将 RENT 与六种既有特征选择器进行基准比较。实验对比中，RENT 展现出预测性能与稳定性之间良好的平衡权衡。最后，我们通过对一个医疗数据集的探索性事后分析强调 RENT 额外的解释价值。
引用
@article{arxiv.2009.12780,
title = {RENT -- Repeated Elastic Net Technique for Feature Selection},
author = {Anna Jenul and Stefan Schrunner and Kristian Hovde Liland and Ulf Geir Indahl and Cecilia Marie Futsaether and Oliver Tomic},
journal= {arXiv preprint arXiv:2009.12780},
year = {2021}
}