Local MDI+：面向树基模型的局部特征重要性
机器学习
2026-05-28 v2 统计方法学
机器学习
摘要
随机森林等树基集成模型因其预测性能和计算效率而成为表格数据的首选方法，优于深度学习模型。这些优势使其在可解释性对确保可信预测至关重要的高风险领域得到广泛应用。这推动了LIME和TreeSHAP等流行局部特征重要性方法的发展。然而，这些方法依赖于忽略模型内部结构并转而依赖可能不稳定的扰动。在全局设置中，这些问题由MDI+解决——一种通过利用决策树与变换节点基上的最小二乘法之间的等价性来结合树基和线性特征重要性的全局特征重要性方法。然而，全局MDI+分数在面对异质性个体特征时无法解释预测。为填补这一空白，我们提出Local MDI+（LMDI+），一种MDI+框架的新扩展，用于量化每个特定样本的特征重要性。在十二个真实世界基准数据集上，LMDI+在识别实例特定预测特征方面优于现有基线，仅使用所选特征即可在预测性能上实现平均10%的提升。它还通过在不同随机种子的重复模型拟合中始终产生相似的实例级特征重要性排名，展示了更大的稳定性。消融实验表明，LMDI+的每个组件都对这些增益有贡献，且这些改进不仅限于随机森林，还延伸至梯度提升模型。最后，我们证明LMDI+通过为每个分类基准识别密切匹配的反事实事实以及在住房数据集案例研究中发现同质子群，实现了局部可解释性用例。
引用
@article{arxiv.2506.08928,
title = {Local MDI+: Local Feature Importances for Tree-Based Models},
author = {Zhongyuan Liang and Zachary T. Rewolinski and Abhineet Agarwal and Tiffany M. Tang and Bin Yu},
journal= {arXiv preprint arXiv:2506.08928},
year = {2026}
}