具有无偏特征重要性的无偏梯度提升决策树
机器学习
2023-05-19 v1
摘要
梯度提升决策树（GBDT）已在广泛应用中取得显著成功。决定树构建过程的分裂寻找算法是 GBDT 最关键的组件之一。然而，分裂寻找算法长期因对具有大量潜在分裂的特征存在偏置而受到批评。这种偏置给 GBDT 带来了严重的可解释性与过拟合问题。为此，我们对 GBDT 中的偏置进行了细粒度分析，并证明该偏置源于 1) 各分裂增益估计中的系统偏置，以及 2) 分裂寻找算法中因使用相同数据评估分裂改进并确定最佳分裂而产生的偏置。基于该分析，我们提出无偏增益，一种利用袋外样本衡量增益重要性的新无偏度量。此外，我们将无偏性质纳入分裂寻找算法，并开发了 UnbiasedGBM 以解决 GBDT 的过拟合问题。我们在一个包含 60 个数据集的大规模实证研究中评估了 UnbiasedGBM 与无偏增益的性能，结果表明：1) 在 60 个数据集上，UnbiasedGBM 平均表现优于 LightGBM、XGBoost 和 Catboost 等流行 GBDT 实现；2) 无偏增益在特征选择中的平均性能优于流行的特征重要性方法。代码见 https://github.com/ZheyuAqaZhang/UnbiasedGBM。
引用
@article{arxiv.2305.10696,
title = {Unbiased Gradient Boosting Decision Tree with Unbiased Feature Importance},
author = {Zheyu Zhang and Tianping Zhang and Jian Li},
journal= {arXiv preprint arXiv:2305.10696},
year = {2023}
}