CRAFT：用于可解释性的概念递归激活分解
计算机视觉与模式识别
2023-03-30 v2 人工智能
摘要
归因方法作为一种可解释性方法，利用热力图来识别影响模型决策的图像中最具影响力的区域，已广受欢迎。然而，近期研究揭示了这些方法的有限实用价值，部分归因于其仅关注图像中最显著区域的狭隘视角——揭示了模型“看哪里”，却未能阐明模型在这些区域中“看到什么”。在这项工作中，我们试图用 CRAFT 填补这一空白——一种通过生成基于概念的解释来识别“什么”和“哪里”的新方法。我们为自动概念提取文献引入了 3 个新要素：（i）跨层检测和分解概念的递归策略，（ii）使用 Sobol 指数对概念重要性进行更忠实估计的新方法，以及（iii）使用隐式微分来解锁概念归因图。我们进行了人类和计算机视觉实验以证明所提方法的优势。我们表明所提出的概念重要性估计技术比先前方法更忠实于模型。在以人为本的效用基准上评估该方法对人类实验者的有用性时，我们发现我们的方法在三个测试场景中的两个上显著改进。我们的代码可在 github.com/deel-ai/Craft 免费获取。
引用
@article{arxiv.2211.10154,
title = {CRAFT: Concept Recursive Activation FacTorization for Explainability},
author = {Thomas Fel and Agustin Picard and Louis Bethune and Thibaut Boissin and David Vigouroux and Julien Colin and Rémi Cadène and Thomas Serre},
journal= {arXiv preprint arXiv:2211.10154},
year = {2023}
}