评估预训练卷积神经网络与基础模型作为内容医学图像检索特征提取器
计算机视觉与模式识别
2025-03-28 v2
摘要
医学图像检索指的是在数据库中查找给定查询图像的相似图像，具有诊断支持等应用。虽然传统医学图像检索依赖临床元数据，但内容基于医学图像检索 (CBMIR) 依赖于图像特征，可自动或半自动提取。针对 CBMIR 提出了许多方法，其中使用预训练卷积神经网络 (CNN) 是最常用的方法之一。然而，鉴于近期发展基础模型用于各种计算机视觉任务，探索其在 CBMIR 中的应用也值得考虑。本研究使用来自众多预训练特征提取器，包括著名预训练 CNN 和预训练基础模型，并在八种二维 (2D) 和三维 (3D) 医学图像上检验 CBMIR 性能。此外，我们还研究了图像尺寸对 CBMIR 性能的影响。我们的结果表明，总体而言，对于 2D 数据集，基础模型以显著的优势超过 CNN，其中通用自监督计算病理学模型 (UNI) 在所有数据集和图像尺寸上提供最佳整体性能。对于 3D 数据集，CNN 和基础模型表现更具竞争力，其中面向组织病理学的 captions 对比学习模型 (CONCH) 实现了最佳整体性能。此外，我们的发现确认，虽然使用更大图像尺寸（尤其是针对 2D 数据集）可略微提升性能，但即使在较小图像尺寸下，仍可实现具竞争力的 CBMIR 性能。我们提供的代码可在 https://github.com/masih4/MedImageRetrieval 复现。
引用
@article{arxiv.2409.09430,
title = {Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval},
author = {Amirreza Mahbod and Nematollah Saeidi and Sepideh Hatamikia and Ramona Woitek},
journal= {arXiv preprint arXiv:2409.09430},
year = {2025}
}
备注
37 pages