医学图像-报告检索对比学习模型鲁棒性基准测试
计算机视觉与模式识别
2025-01-17 v1 人工智能
计算与语言
信息检索
机器学习
摘要
医学图像和报告为患者健康提供了不可估量的见解，但这些数据的异质性和复杂性阻碍了有效分析。为弥合这一差距，我们研究了用于跨域检索的对比学习模型，将医学图像与其对应的临床报告关联起来。本研究对四种最先进的对比学习模型进行鲁棒性基准测试：CLIP、CXR-RePaiR、MedCLIP 和 CXR-CLIP。我们引入了遮挡检索任务，以评估模型在不同程度图像损坏下的性能。我们的发现表明，所有评估的模型对非分布数据高度敏感，随遮挡程度增加，性能比例性下降。虽然 MedCLIP 在鲁棒性上略占优势，但总体性能仍显著落后于 CXR-CLIP 和 CXR-RePaiR。CLIP 作为通用数据集训练的模型，在医学图像-报告检索方面表现不佳，这凸显了面向特定领域训练数据的重要性。本工作的评估表明，仍需致力于提高这些模型的鲁棒性。通过解决这些限制，我们可以为医疗应用开发出更可靠的跨域检索模型。
引用
@article{arxiv.2501.09134,
title = {Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval},
author = {Demetrio Deanda and Yuktha Priya Masupalli and Jeong Yang and Young Lee and Zechun Cao and Gongbo Liang},
journal= {arXiv preprint arXiv:2501.09134},
year = {2025}
}
备注
This work is accepted to AAAI 2025 Workshop -- the 9th International Workshop on Health Intelligence