概念区域重要性：基于聚类方法的CLIP基准测试

对比式视觉语言模型（VLMs）如CLIP在零样态识别方面表现突出，但仍对虚假关联特别敏感，尤其是背景依赖。我们引入基于聚类的概念重要性（CCI），这是一种新型可解释方法，利用CLIP自身的patch嵌入将空间patch分组为语义一致的聚类，遮蔽后评估模型预测的相对变化。CCI在忠实性基准测试中实现了最先进的性能，显著超越先前方法；例如，在MS COCO检索的删除-AUC指标上提升超过两倍。我们进一步提出，CCI结合GroundedSAM可自动将预测分类为前景或背景驱动，提供关键诊断能力。现有基准如CounterAnimals仅依赖准确率，隐式将所有性能下降归因于背景关联。我们的分析表明这一假设不完整，因为许多错误源于视角变化、尺度偏移和细粒度物体混淆。为消除这些效应，我们引入COVAR基准，系统性地变更物体前景与背景。利用CCI配合COVAR，我们对十八个CLIP变体进行全面评估，提供方法论进展并提供实证证据，为更健壮的VLMs指明道路。