基于交叉验证特征选择的梯度提升树特征重要性
机器学习
2021-09-14 v1 机器学习
摘要
梯度提升机（GBM）是表格数据上的常用算法之一，在许多预测任务中产生了最先进的成果。尽管广受欢迎，GBM 框架的基础学习器存在根本缺陷。具体而言，大多数实现采用的决策树通常偏向于具有大基数的类别变量。多年来该偏差的影响已被广泛研究，主要集中在预测性能方面。在本工作中，我们扩展了研究范围，考察有偏基础学习器对 GBM 特征重要性（FI）度量的影响。我们表明，尽管这些实现展现出极具竞争力的预测性能，但令人惊讶的是，它们在 FI 上仍然受到偏差影响。通过采用交叉验证（CV）无偏基础学习器，我们以相对较低的计算成本修复了该缺陷。我们在多种合成和真实世界设定中展示了所提框架，显示出在所有 GBM FI 度量上的显著改进，同时保持了相对相同的预测精度水平。
引用
@article{arxiv.2109.05468,
title = {Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection},
author = {Afek Ilay Adler and Amichai Painsky},
journal= {arXiv preprint arXiv:2109.05468},
year = {2021}
}