先发现后命名：通过自动概念发现实现任务无关的概念瓶颈

概念瓶颈模型（CBM）最近被提出以解决深度神经网络的“黑箱”问题，其方法是首先将图像映射到人类可理解的概念空间，然后线性组合概念进行分类。这类模型通常需要首先提出一组与任务相关的概念，然后对齐特征提取器的表示以映射到这些概念。然而，即使使用像 CLIP 这样强大的基础特征提取器，也无法保证指定的概念是可检测的。在这项工作中，我们利用机制可解释性的最新进展，提出了一种新颖的 CBM 方法——称为先发现后命名 CBM（DN-CBM）——它颠倒了典型的范式：我们不是基于下游分类任务预选概念，而是使用稀疏自编码器首先发现模型学习到的概念，然后命名它们并训练线性探针进行分类。我们的概念提取策略是高效的，因为它与下游任务无关，并且使用模型已知的概念。我们在多个数据集和 CLIP 架构上进行了全面评估，结果表明我们的方法产生了语义上有意义的概念，为其分配了易于解释的适当名称，并产生了高性能且可解释的 CBM。代码可在 https://github.com/neuroexplicit-saar/discover-then-name 获取。