稀疏概念瓶颈模型：对比学习中的 Gumbel 技巧

我们提出了一种基于概念瓶颈模型（Concept Bottleneck Models, CBMs）的可解释分类的新架构和方法。尽管当前图像分类任务的 SOTA 方法以黑盒形式工作，但对能够提供可解释结果的模型的需求日益增长。此类模型通常学习使用目标实例的附加描述（称为概念）来预测类标签上的分布。然而，现有的瓶颈方法存在诸多局限性：其准确率低于标准模型，且 CBMs 需要额外的概念集来发挥作用。我们提供了一个从预训练多模态编码器和新型类 CLIP 架构创建概念瓶颈模型的框架。通过引入一种称为概念瓶颈层的新型层，我们概述了三种训练方法：使用 $\ell_1$ 损失、对比损失以及基于 Gumbel-Softmax 分布的损失函数（Sparse-CBM），而最终的 FC 层仍使用交叉熵进行训练。我们展示了在基于 CLIP 的瓶颈模型中使用稀疏隐藏层能显著提高准确率。这意味着概念激活向量的稀疏表示在概念瓶颈模型中是有意义的。此外，借助我们的概念矩阵搜索算法，我们可以在无需任何额外训练或微调的情况下，改进 CLIP 在复杂数据集上的预测结果。代码可在以下地址获取：https://github.com/Andron00e/SparseCBM。