基于区域对比预训练的解剖学查询医学图像检索
计算机视觉与模式识别
2023-05-10 v1
摘要
我们提出了一种新颖的用于医学图像检索（RegionMIR）的基于区域的对比预训练方法，证明了以相似解剖区域进行医学图像检索的可行性。RegionMIR 解决了医学图像检索的两个主要挑战：i) 临床相关搜索标准（如基于解剖、基于病理）的标准化，以及 ii) 具有语义意义的解剖感兴趣区域的定位。在本工作中，我们提出了一种 ROI 图像检索网络，通过提取解剖特征（经由边界框）来检索具有相似解剖的图像，并使用对比学习评估查询与图像数据库之间成对按解剖分类的特征的相似性。ROI 查询使用针对解剖分类微调的对比预训练编码器进行编码，该编码器生成用于区域相关图像检索的解剖特定潜在空间。在检索过程中，我们将解剖编码的查询与从训练样本生成的特征数据库中的相似特征进行比较，并从训练样本中检索具有相似区域的图像。我们使用 Chest ImaGenome Dataset 在解剖分类和图像检索任务上评估了我们的方法。我们提出的策略相较最先进的预训练和协同训练策略取得了提升，解剖分类准确率从 92.24 提高到 94.12（2.03%）。我们对图像检索性能进行了定性评估，展示了跨多种不同形态解剖的泛化能力。
引用
@article{arxiv.2305.05598,
title = {Region-based Contrastive Pretraining for Medical Image Retrieval with Anatomic Query},
author = {Ho Hin Lee and Alberto Santamaria-Pang and Jameson Merkow and Ozan Oktay and Fernando Pérez-García and Javier Alvarez-Valle and Ivan Tarapov},
journal= {arXiv preprint arXiv:2305.05598},
year = {2023}
}