存在$\ell_2$正则化时梯度提升树的个体化与全局特征归因
机器学习
2022-11-09 v1 机器学习
摘要
虽然正则化广泛用于训练梯度提升树，但流行的树个体化特征归因方法，如Saabas和TreeSHAP，却忽略了训练过程。我们提出了预测分解归因（PreDecomp），这是一种针对使用正则化训练的梯度提升树的新型个体化特征归因方法。理论分析表明，PreDecomp与样本内数据标签的内积本质上是树的总增益，并且当特征独立时，它可以在总体情况下忠实地恢复加性模型。受PreDecomp与总增益之间联系的启发，我们还提出了TreeInner，这是一族去偏的全局特征归因方法，定义为任何个体化特征归因与每棵树样本外数据标签的内积。在模拟数据集和基因组ChIP数据集上的数值实验表明，TreeInner具有最先进的特征选择性能。重现实验的代码可在https://github.com/nalzok/TreeInner获取。
引用
@article{arxiv.2211.04409,
title = {Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization},
author = {Qingyao Sun},
journal= {arXiv preprint arXiv:2211.04409},
year = {2022}
}
备注
43 pages, 29 figures