通过端到端解释深化对概念瓶颈模型的理解
人工智能
2023-02-08 v1
摘要
概念瓶颈模型(CBMs)首先将原始输入映射到人类定义概念的向量，然后使用该向量预测最终分类。因此我们可能期望 CBMs 能够基于输入的不同区域预测概念。如此一来，这将在生成模型输出解释以可视化对应于概念的输入特征时支持人类解释。本文的贡献有三方面：首先，我们扩展现有文献，同时考察从输入到概念向量的相关性（确认相关性分布于输入特征中）以及从概念向量到最终分类的相关性（在大多数情况下，最终分类由被预测为存在的概念做出）。其次，我们报告一项定量评估，用以测量最大输入特征相关性与真实位置之间的距离；我们使用层-wise 相关性传播(LRP)、积分梯度(IG)和基线梯度方法执行此评估，发现 LRP 的平均距离低于 IG。第三，我们提出使用相关性比例作为解释概念重要性的度量。
引用
@article{arxiv.2302.03578,
title = {Towards a Deeper Understanding of Concept Bottleneck Models Through End-to-End Explanation},
author = {Jack Furby and Daniel Cunnington and Dave Braines and Alun Preece},
journal= {arXiv preprint arXiv:2302.03578},
year = {2023}
}
备注
Accepted into the AAAI-23 workshop Representation Learning for Responsible Human-Centric AI (R2HCAI) as a 4 page paper. This version also includes an additional 47 pages for the appendix and contains additional figures and tables