梯度提升解释中的先行者偏置：机制、检测与解决
摘要
我们识别了先行者偏置——即来自梯度提升中顺序残差拟合的SHAP特征重要性的路径依赖性聚集——作为归因不稳定性在多重共线性下的机制性贡献。放大单个模型会放大此效应：一个与本方法相同树数的大型单一模型产生的最差归因可重复性。我们表明，模型独立性在很大程度上中和了先行者偏置。两种方法——DASH（Diversified Aggregation of SHAP）和简单种子平均（Stochastic Retrain）通过打破顺序依赖链来恢复稳定性。在rho=0.9时，两种方法的稳定性均达到约0.977，而Single Best降至0.958，LSM降至0.938。在乳腺癌数据集上，DASH将稳定性从0.376提升至0.925（提升+0.549），超越Stochastic Retrain+0.063。在非线性数据生成过程下，优势在rho≥0.7时显现。DASH提供了两种诊断工具——特征稳定性指数和重要性-稳定性图——无需 ground truth 即可检测先行者偏置。交叉方差分析带正式F统计量确认了该机制：DASH将方差从模型主导（40.6%）转移到数据主导（73.6%）。软件地址：https://github.com/DrakeCaraker/dash-shap
引用
@article{arxiv.2603.22346,
title = {First-Mover Bias in Gradient Boosting Explanations: Mechanism, Detection, and Resolution},
author = {Drake Caraker and Bryan Arnold and David Rhoads},
journal= {arXiv preprint arXiv:2603.22346},
year = {2026}
}
备注
v2: 38 pages, 12 tables, 6 figures, 7 appendices. Major revision for TMLR: 50-rep experiments (was 20), crossed ANOVA with F-statistics, FSI quantitative validation, LIME attribution-agnostic demo, 2-tree analytical example, impossibility theorem cross-references, model governance framing. All results from SageMaker ml.g5.16xlarge (64 vCPU). Code: https://github.com/DrakeCaraker/dash-shap