模型的 Shapley 解释是否唯一?
机器学习
2021-11-24 v1 机器学习
统计方法学
摘要
Shapley 值近来已成为解释复杂与简单机器学习模型预测的流行方法。本文讨论了影响 Shapley 值的因素。具体而言,我们探究了特征分布与其 Shapley 值之间的关系。我们进一步讨论了同一模型对不同预测结果给出的 Shapley 解释之间的差异。我们的评估是:特定特征的 Shapley 值不仅取决于其期望均值,还取决于其他矩(如方差),并且对于基线预测、符号以及最重要特征,在使用同一线性概率模型(logit/probit)生成的不同结果(如概率、对数几率和二元决策)之间存在分歧。这些分歧不仅存在于局部可解释性中,也影响全局特征重要性。我们得出结论:对于给定的模型不存在唯一的 Shapley 解释。它会随模型结果(概率/对数几率/二元决策,如接受与拒绝)以及模型应用而变化。
引用
@article{arxiv.2111.11946,
title = {Is Shapley Explanation for a model unique?},
author = {Harsh Kumar and Jithu Chandran},
journal= {arXiv preprint arXiv:2111.11946},
year = {2021}
}