利用基础模型进行放射学基于内容的图像检索
计算机视觉与模式识别
2026-03-04 v4 信息检索
摘要
基于内容的图像检索 (CBIR) 有潜力显著改善放射学中的诊断辅助和医学研究。然而，当前的 CBIR 系统受限于其对特定病理的专门化，限制了其效用。另一方面，几种视觉基础模型已被证明能产生通用的视觉特征。因此，在本工作中，我们提出使用视觉基础模型作为用于基于内容图像检索的强大且通用的现成特征提取器。我们的贡献包括：(1) 在包含跨四种模态和 161 种病理的 160 万张 2D 放射图像的大型数据集上，对多种视觉基础模型进行基准测试；(2) 识别出弱监督模型（特别是 BiomedCLIP）非常有效，实现了高达 0.594 的 P@1（P@3: 0.590, P@5: 0.588, P@10: 0.583），与专门的 CBIR 系统相当但无需额外训练；(3) 深入分析索引大小对检索性能的影响；(4) 评估不同模型生成的嵌入空间的质量；以及 (5) 调查检索解剖结构与病理结构相关的具体挑战。尽管存在这些挑战，我们的研究强调了基础模型在放射学 CBIR 中的巨大潜力，提出转向无需特定调整的通用医学图像检索系统。我们的代码、数据集划分和嵌入可在 https://github.com/MIC-DKFZ/foundation-models-for-cbmir 公开获取。
引用
@article{arxiv.2403.06567,
title = {Leveraging Foundation Models for Content-Based Image Retrieval in Radiology},
author = {Stefan Denner and David Zimmerer and Dimitrios Bounias and Markus Bujotzek and Shuhan Xiao and Raphael Stock and Lisa Kausch and Philipp Schader and Tobias Penzkofer and Paul F. Jäger and Klaus Maier-Hein},
journal= {arXiv preprint arXiv:2403.06567},
year = {2026}
}