增强医学影像中的零样本学习：集成CLIP与先进技术以改进胸部X光分析
计算机视觉与模式识别
2025-03-18 v1
摘要
由于医学影像数据量庞大，需要先进的AI方法辅助放射科医师从胸部X光(CXR)中诊断胸部疾病。现有的深度学习模型通常需要大型带标签数据集，而由于耗时且依赖专家的标注过程，这在医学影像中十分稀缺。本文通过将对比语言-图像预训练(CLIP)与动量对比相结合，扩展了现有方法以增强医学影像中的零样本学习，提出了MoCoCLIP模型。该方法应对了类别不平衡和未标记数据集带来的挑战，从而能够改进对肺部病变的检测。在NIH ChestXray14数据集上的实验结果表明，MoCoCLIP优于最先进的CheXZero模型，实现了约6.5%的相对提升。此外，在CheXpert数据集上，MoCoCLIP展现出更优的零样本性能，与CheXZero的0.746 AUC相比，实现了0.750的平均AUC，突显了其在未见数据上更强的泛化能力。
引用
@article{arxiv.2503.13134,
title = {Enhancing zero-shot learning in medical imaging: integrating clip with advanced techniques for improved chest x-ray analysis},
author = {Prakhar Bhardwaj and Sheethal Bhat and Andreas Maier},
journal= {arXiv preprint arXiv:2503.13134},
year = {2025}
}