CE-FAM：基于激活图融合的概念解释
计算机视觉与模式识别
2025-09-30 v1
摘要
虽然显著性图可以突出显示重要区域以解释人工智能（AI）图像分类背后的推理，但这些区域的含义留给用户自行解读。相比之下，基于概念的解释将AI预测分解为人类可理解的概念，明确其贡献。然而，很少有方法能同时揭示图像分类器学习了哪些概念、哪些区域与之关联以及它们如何贡献于预测。我们提出了一种新颖的基于概念的解释方法——基于激活图融合的概念解释（CE-FAM）。它采用一个分枝网络，与图像分类器共享激活图，并学习模仿视觉语言模型（VLM）的嵌入。分枝网络预测图像中的概念，其对应区域由激活图的加权和表示，权重由概念预测分数的梯度给出。它们的贡献根据其对图像分类分数的影响进行量化。我们的方法提供了一个通用框架，用于识别概念区域及其贡献，同时利用VLM知识来处理任意概念，而无需标注数据集。此外，我们引入了一种新颖的评估指标来评估概念区域的准确性。我们的定性和定量评估表明，我们的方法优于现有方法，并且在未见概念的零样本推理方面表现出色。
引用
@article{arxiv.2509.23849,
title = {CE-FAM: Concept-Based Explanation via Fusion of Activation Maps},
author = {Michihiro Kuroki and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2509.23849},
year = {2025}
}
备注
This paper has been accepted to ICCV 2025