统一自动概念提取与概念重要性估计的整体性方法
机器学习
2023-10-31 v2 人工智能
摘要
近年来，基于概念的方法已成为最有前景的可解释性方法之一，帮助我们解释人工神经网络（ANN）的决策。这些方法试图在 ANN 激活的复杂模式中发现可理解的视觉“概念”，分为两个关键步骤：（1）概念提取，随后（2）重要性估计。尽管这两步为各方法所共有，它们在具体实现上各不相同。在此，我们引入一个统一的理论框架，全面定义并厘清这两个步骤。该框架具有若干优势：它使我们能够（i）提出用于比较不同概念提取方法的新评估指标；（ii）利用现代归因方法和评估指标来扩展并系统评估最先进的基于概念的方法和重要性估计技术；（iii）推导关于此类方法最优性的理论保证。我们进一步利用框架尝试解决可解释性中的一个关键问题：如何高效识别基于相似共享策略分类的数据点簇。为阐明这些发现并突出模型的主要策略，我们引入一种称为策略簇图的视觉表示。最后，我们呈现 https://serre-lab.github.io/Lens，一个专门网站，为 ImageNet 数据集的所有类别提供这些可视化的完整汇编。
引用
@article{arxiv.2306.07304,
title = {A Holistic Approach to Unifying Automatic Concept Extraction and Concept Importance Estimation},
author = {Thomas Fel and Victor Boutin and Mazda Moayeri and Rémi Cadène and Louis Bethune and Léo andéol and Mathieu Chalvidal and Thomas Serre},
journal= {arXiv preprint arXiv:2306.07304},
year = {2023}
}