TreeGrad-Ranker：基于 $O(L)$ 时间梯度的决策树特征排序
机器学习
2026-04-22 v3
摘要
我们重新审视了使用概率值（包括众所周知的Shapley值和Banzhaf值）来对决策树的局部预测值进行特征排序的问题。通常会使用插入和删除指标来评估特征排序的质量。经验上，我们观察到对这两个指标进行协调优化与选择子集特征以最大化局部预测值，同时最小化其补集的局部预测值进行的联合优化密切相关。然而，我们在理论上表明，概率值对于解决这种联合优化通常是不可靠的。因此，我们探索通过直接优化联合目标来派生特征排序。作为 backbone，我们提出TreeGrad，它可在 时间内计算决策树（具有 个叶子）的联合目标的多线性延伸的梯度；这些梯度包括加权Banzhaf值。基于TreeGrad，我们引入TreeGrad-Ranker，该方法在优化联合目标的同时聚合梯度以产生特征排序，以及TreeGrad-Shap，用于计算具有积分参数的Beta Shapley值的数值稳定算法。特别是，TreeGrad-Ranker计算的特征分数满足所有唯一确定概率值公理的条件，除了线性化，这本身导致了已知的不可靠性。经验上，我们展示了Linear TreeShap在计算Shapley值时，的数值误差可比TreeGrad-Shap大达 倍。作为副产品，我们还开发了TreeProb，该方法将Linear TreeShap推广到支持所有概率值。我们在实验中，TreeGrad-Ranker 在两个插入和删除指标上均表现出显著优于。我们的代码可在 https://github.com/watml/TreeGrad 上获得。
引用
@article{arxiv.2602.11623,
title = {TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees},
author = {Weida Li and Yaoliang Yu and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2602.11623},
year = {2026}
}