OFF-CLIP：通过简单非对角项自适应提升放射学 CLIP 中的正常检测置信度
计算机视觉与模式识别
2025-03-04 v1
摘要
对比式语言-图像预训练 (CLIP) 已实现放射学中的零样本分类, 减少对手动标注的依赖. 然而, 传统对比学习在正常病例检测方面困难, 由于其严格的样本内对齐, 破坏了正常样本的聚类, 导致高假阳性 (FP) 和假阴性 (FN). 为解决此问题, 我们提出 OFF-CLIP, 这是一种对比学习细化方法, 通过引入非对角项损失来增强正常样本聚类, 并应用句子级文本过滤来缓解 FN, 通过移除与异常报告不匹配的正常语句来实现. OFF-CLIP 可应用于放射学 CLIP 模型, 而无需进行任何架构修改. 实验结果显示, OFF-CLIP 在 VinDr-CXR 上显著提升了正常分类, 在 CARZero (最新的零样本分类基线) 上的 AUC 提升 0.61, 同时保持或改善异常分类性能. 此外, OFF-CLIP 通过提高指向游戏准确率来增强零样本 grounding, 确认更好的异常局部化. 这些结果表明 OFF-CLIP 是一种有效且高效的医疗视觉-语言模型增强工具.
引用
@article{arxiv.2503.01794,
title = {OFF-CLIP: Improving Normal Detection Confidence in Radiology CLIP with Simple Off-Diagonal Term Auto-Adjustment},
author = {Junhyun Park and Chanyu Moon and Donghwan Lee and Kyungsu Kim and Minho Hwang},
journal= {arXiv preprint arXiv:2503.01794},
year = {2025}
}
备注
10 pages, 3 figures, and 5 tables