CLIP-QDA：一种可解释的概念瓶颈模型
计算机视觉与模式识别
2024-06-03 v3
摘要
本文中，我们提出一种基于多模态基础模型设计的、可实现快速且可解释图像分类的可解释算法。受基于 CLIP 的概念瓶颈模型（CBMs）启发，我们的方法构建了一个潜在空间，其中每个神经元都与一个特定词相关联。观察到该潜在空间可用简单分布建模，我们采用高斯混合（MoG）形式来增强此潜在空间的可解释性。随后，我们提出 CLIP-QDA，一种仅利用统计值从概念推断标签的分类器。此外，该形式支持局部与全局解释。这些解释源自我们架构的内部设计，我们的工作属于灰盒模型新家族，融合了不透明基础模型的性能与透明模型的可解释性。我们的实证结果表明，在 MoG 假设成立的情况下，CLIP-QDA 取得了与最先进方法 CBMs 相当的准确率。我们的解释在与现有 XAI 方法竞争的同时计算更快。
引用
@article{arxiv.2312.00110,
title = {CLIP-QDA: An Explainable Concept Bottleneck Model},
author = {Rémi Kazmierczak and Eloïse Berthier and Goran Frehse and Gianni Franchi},
journal= {arXiv preprint arXiv:2312.00110},
year = {2024}
}