iCBIR-Sli：基于 2D 切片嵌入的可解释内容图像检索
计算机视觉与模式识别
2025-09-22 v2 机器学习
图像与视频处理
摘要
目前搜索脑部 MR 图像的方法依赖于基于文本的方法，凸显了对基于内容的图像检索（CBIR）系统的巨大需求。将 3D 脑部 MR 图像直接应用于机器学习模型具有有效学习大脑结构的优势；然而，构建泛化模型需要大量训练数据。虽然考虑深度方向并利用连续 2D 切片的模型在涉及 3D 数据的分割和分类任务中取得了成功，但仍存在一些问题。具体而言，使用一般 2D 切片可能会导致忽略病理特征和深度方向信息的不连续性。此外，据作者所知，尚未有尝试开发能够保留整个大脑结构信息的实用 CBIR 系统。在本研究中，我们提出了一种用于脑部 MR 图像的可解释 CBIR 方法，命名为 iCBIR-Sli（具有 2D 切片嵌入的可解释 CBIR），该方法在全球范围内首次利用了一系列 2D 切片。iCBIR-Sli 通过有效聚合切片信息来解决与使用 2D 切片相关的挑战，从而实现了具有高完整性、可用性、鲁棒性和互操作性的低维表示，这些是有效 CBIR 所必需的特质。在利用五个公开可用的脑部 MR 数据集（ADNI2/3、OASIS3/4、AIBL）针对阿尔茨海默病和认知正常进行检索评估实验中，iCBIR-Sli 展示了 top-1 检索性能（macro F1 = 0.859），无需外部分类器即可与明确为分类设计的现有深度学习模型相媲美。此外，该方法通过清晰识别指示所搜索疾病的脑部区域，提供了高可解释性。
引用
@article{arxiv.2501.01642,
title = {iCBIR-Sli: Interpretable Content-Based Image Retrieval with 2D Slice Embeddings},
author = {Shuhei Tomoshige and Hayato Muraki and Kenichi Oishi and Hitoshi Iyatomi},
journal= {arXiv preprint arXiv:2501.01642},
year = {2025}
}
备注
8 pages, 2 figures. Accepted at the SPIE Medical Imaging