勿被误导：解释方法中的标签泄漏及其定量评估的重要性
机器学习
2023-02-28 v1 人工智能
摘要
特征归因方法用于识别输入中哪些特征对模型输出影响最大。最广泛使用的特征归因方法（如 SHAP、LIME 和 Grad-CAM）是“依赖于类别的”方法，因为它们将特征归因向量生成为类别的函数。在本工作中，我们证明依赖于类别的方法会“泄漏”关于所选类别的信息，使该类别看起来比实际更可能。因此，最终用户在解释依赖于类别的方法生成的解释时，面临得出错误结论的风险。相比之下，我们引入“分布感知”方法，其偏好使标签分布接近于给定输入所有特征时该标签分布的解释。我们引入 SHAP-KL 和 FastSHAP-KL 两种基线的分布感知方法，用于计算 Shapley 值。最后，我们在三个不同高维数据类型的临床数据集（图像、生物信号和文本）上对七种依赖于类别的方法和三种分布感知方法进行了综合评估。
引用
@article{arxiv.2302.12893,
title = {Don't be fooled: label leakage in explanation methods and the importance of their quantitative evaluation},
author = {Neil Jethani and Adriel Saporta and Rajesh Ranganath},
journal= {arXiv preprint arXiv:2302.12893},
year = {2023}
}
备注
AISTATS 2023