中文

Quadrature-TreeSHAP:与深度无关的 TreeSHAP 与 Shapley 交互

机器学习 2026-05-07 v1

摘要

Shapley 值是解释树集成预测的标准工具,其中 Path-Dependent SHAP 是最广泛使用的变体。尽管取得了实质性进展,但现有方法在依赖深度的运行时间、数值稳定性和对高阶交互的支持之间仍存在权衡。为了应对这些挑战,我们引入了 Quadrature-TreeSHAP,这是一种基于求积的 Path-Dependent TreeSHAP 重构,具有数值稳定性,自然地扩展到任意阶 Shapley 交互值,并且对树深度实际上不敏感。我们的实现同时支持 CPU 和 GPU,并已集成到 XGBoost 中。我们的方法基于加权 Banzhaf 交互多项式,将 Banzhaf 交互值表示为特征参与概率 pp 下的期望。然后通过在 0 到 1 的范围内对 pp 积分这些多项式,来恢复 Shapley 值和任意阶交互值。我们使用 Gauss-Legendre 求积法评估这些积分,并表明在实践中,仅需 8 个固定求积点即可达到机器精度。事实上,具有 8 个固定点的 Quadrature-TreeSHAP 比 TreeSHAP 获得了更高的数值稳定性。这种固定点公式消除了内部计算对深度的依赖,并实现了高效的 SIMD 执行。我们通过实验证实了这些优势。在 12 个 XGBoost 基准上,Quadrature-TreeSHAP 在 CPU 上计算 Shapley 值的速度比 TreeSHAP 快 1.06x-10.59x,在 GPU 上比 GPUTreeSHAP 快 1.84x-6.95x。Shapley 成对交互在 CPU 上快 3.80x-58.11x,高阶交互与 TreeSHAP-IQ 相比实现了高达 1200x 的加速。

关键词

引用

@article{arxiv.2605.04497,
  title  = {Quadrature-TreeSHAP: Depth-Independent TreeSHAP and Shapley Interactions},
  author = {Ron Wettenstein and Rory Mitchell and Peng Yu},
  journal= {arXiv preprint arXiv:2605.04497},
  year   = {2026}
}