面向胸部X射线 finding 的概念导向式噪声负样本抑制：零样本分类与定位

使用胸部X射线和放射学报告进行视觉语言对齐已成为零样本分类和定位胸部X射线 finding 的高级范式。然而，标准的对比学习通常将来自不同患者的放射图和报告简单地视为负样本对。这一假设引入了噪声负样本，因为不同患者经常 exhibits 类似的 finding。这种噪声负样本导致语义模糊，降低零样本理解任务的性能。为解决此挑战，我们提出了CoNNS（Concept-guided Noisy Negative Suppression），一个概念导向的噪声负样本抑制框架。为支持负样本抑制机制，不同于以往方法使用原始报告或模板化文本，我们构建了一个分层概念本体，使用大型语言模型。该本体通过显式建模存在性、属性（位置和特征）和文本（证据段落和存在声明）将41个关键临床概念结构化。利用该本体，我们实施了跨患者对重新标记策略，包括三个步骤：（1）细粒度分解以基于finding存在性对对进行分类；（2）噪声负样本过滤以通过移除错误负样本来解决语义冲突；（3）硬负样本采矿以使用轻量级语言模型识别细微属性差异。最后，我们提出了概念感知NCE损失，以对齐视觉特征与文本，同时抑制识别出的噪声负样本。广泛的实验在多粒度零样本定位任务和五个零样本分类数据集上验证了CoNNS优于现有最先进模型的性能。代码已提供。