对比语义投影：基于对比样本的忠实神经元标记
计算机视觉与模式识别
2026-04-30 v2 机器学习
摘要
神经元标记为深层网络的内部单元分配文本描述。现有方法通常依赖高度激活的样本，往往产生宽泛或误导性的标签，因聚焦于占主导但偶然的视觉因素。FALCON 等先前工作引入对比样本——与激活样本在语义上相似但引发低激活的输入——以细化解释，但主要解决子空间层次的可解释性，而非可扩展的神经元级标记。我们在两个阶段重访对比解释用于神经元级标记：(1) 使用视觉语言模型(VLM)生成候选标签，(2) 使用 CLIP 类编码器进行标签分配。首先，我们表明为 VLM 提供对比图像集可获得更具体且更忠实的候选标签。其次，我们引入 Contrastive Semantic Projection (CSP)，这是一种将对比样本直接整合到 CLIP 基于评分和选择管道中的 SemanticLens 的扩展。通过大量实验和皮肤瘤检测案例研究， contrast labeling 在忠实性和语义细粒度方面均优于最先进的基线方法。我们的结果表明，对比样本是神经元标记和分析管道中简单而强大且目前被低估的组成部分。
引用
@article{arxiv.2604.22477,
title = {Contrastive Semantic Projection: Faithful Neuron Labeling with Contrastive Examples},
author = {Oussama Bouanani and Jim Berend and Wojciech Samek and Sebastian Lapuschkin and Maximilian Dreyer},
journal= {arXiv preprint arXiv:2604.22477},
year = {2026}
}