特征重要性排序的统计显著性
机器学习
2025-07-08 v5 机器学习
摘要
特征重要性得分是理解机器学习模型预测的常用工具。然而,许多流行的归因方法因随机抽样而导致高不稳定性。利用假设检验的新思想,我们设计了技术手段,确保最重要的特征以高概率准确。这些方法评估了排名前 个特征的最高特征,以及其元素的顺序。给定一个局部或全局重要性得分集合,我们演示了如何对最高排名的稳定性进行回顾性验证。随后我们引入两种高效抽样算法,识别出以概率超过 识别出 个最重要的特征,或按顺序识别。这些程序的理论依据在经验上在 SHAP 和 LIME 上得到了验证。
引用
@article{arxiv.2401.15800,
title = {Statistical Significance of Feature Importance Rankings},
author = {Jeremy Goldwasser and Giles Hooker},
journal= {arXiv preprint arXiv:2401.15800},
year = {2025}
}