增强 CLIP 基于概念瓶颈模型中的概念局部化
计算机视觉与模式识别
2025-10-09 v1
摘要
本文从可解释人工智能（XAI）的角度，探讨基于概念瓶颈模型（CBM）的技术，这类技术无需显式的概念标注，而是通过 CLIP 以零样本方式提取概念。我们展示，作为这些技术核心的 CLIP 在诸多 CBM 应用场景中，容易产生概念幻觉，错误地预测图像中概念的存在或缺失，从而破坏了解释的忠实性。为缓解此问题，本文引入概念幻觉抑制技术——通过局部可解释性实现概念局部化（Concept Hallucination Inhibition via Localized Interpretability, CHILI），该技术 disentangles 图像嵌入并定位目标概念对应的像素。此外，我们的方法支持生成更具可解释性的基于显著性的解释。
引用
@article{arxiv.2510.07115,
title = {Enhancing Concept Localization in CLIP-based Concept Bottleneck Models},
author = {Rémi Kazmierczak and Steve Azzolin and Eloïse Berthier and Goran Frehse and Gianni Franchi},
journal= {arXiv preprint arXiv:2510.07115},
year = {2025}
}