基于内容的3D图像检索及其针对肿瘤标记与分期的ColBERT式重排序
计算机视觉与模式识别
2025-08-26 v2 人工智能
信息检索
摘要
医学图像数量的增加正为放射科医生在检索相关病例带来挑战。内容为主的图像检索（CBIR）系统为高效访问相似病例提供了潜在方案，然而缺乏标准化的评估和全面性研究。基于先前用于肿瘤特征化的CBIR研究，本研究通过三个关键贡献推进了针对三维医学图像的CBIR研究：（1）构建一种消除对预分割数据和器官特定数据集依赖的框架，契合大规模和非结构化图像存档系统（即临床实践中的PACS）；（2）引入C-MIR，这是一种新型的三维医学影像重排序方法，采用ColBERT的上下文感知晚期交互机制；（3）在四个肿瘤部位上进行全面评估，使用三个特征提取器和三个数据库配置。我们的评估突出了C-MIR的显著优势。我们证明了晚期交互原则成功适用于三维医学影像，实现了有效的上下文感知重排序。一个关键发现是C-MIR能够有效定位感兴趣区域，无需对数据集进行预分割，同时为依赖昂贵数据丰富步骤的系统提供了计算效率更高的替代方案。C-MIR在肿瘤标记方面表现出有前景的改进，尤其是结肠和肺肿瘤（p<0.05）。C-MIR也显示出改善肿瘤分期的潜力，值得进一步探索其能力。最终，我们的工作旨在弥合先进检索技术与其在医疗保健领域实际应用之间的鸿沟，为改进诊断过程铺平道路。
引用
@article{arxiv.2507.17412,
title = {Content-based 3D Image Retrieval and a ColBERT-inspired Re-ranking for Tumor Flagging and Staging},
author = {Farnaz Khun Jush and Steffen Vogler and Matthias Lenga},
journal= {arXiv preprint arXiv:2507.17412},
year = {2025}
}