非对称 Shapley 值：将因果知识引入模型无关的可解释性
机器学习
2021-12-21 v3 人工智能
机器学习
摘要
解释 AI 系统对于开发高性能模型以及用户对其信任的建立都至关重要。Shapley 可解释性框架的优势在于其普遍适用性与精确、严谨的基础相结合：它为 AI 可解释性提供了一种通用的、模型无关的语言，并唯一地满足一组直观的数学公理。然而，Shapley 值在一个重要方面过于受限：它们忽略了数据中的所有因果结构。我们引入了限制更少的框架——非对称 Shapley 值（ASVs），它严谨地建立在一组公理之上，适用于任何 AI 系统，并且足够灵活以纳入已知数据所遵循的任何因果结构。我们证明 ASVs 可以（i）通过纳入因果信息改进模型解释，（ii）为模型预测中的不公平歧视提供明确的检验，（iii）在时间序列模型中实现顺序增量解释，以及（iv）在无需重新训练模型的情况下支持特征选择研究。
引用
@article{arxiv.1910.06358,
title = {Asymmetric Shapley values: incorporating causal knowledge into model-agnostic explainability},
author = {Christopher Frye and Colin Rowat and Ilya Feige},
journal= {arXiv preprint arXiv:1910.06358},
year = {2021}
}
备注
To appear in NeurIPS 2020; 9 pages, 2 figures, 2 appendices