通过检索增强联合训练提升医学图像分割
计算机视觉与模式识别
2025-10-15 v2
摘要
图像分割是将图像划分为有意义区域的过程,在医疗应用中对于准确诊断、治疗规划和疾病监控至关重要。尽管人工医务人员进行的手动分割会产生精确结果,但耗时、昂贵且易受专业差异影响。人工智能 (AI) 方法已被开发出来以克服这些限制,通过自动化分割任务;然而，这些方法通常需要大量标注数据,而实际中很少有这类数据,且在面对不同的成像条件时常难以泛化,因为患者间的变异性和罕见病例较多。本文提出联合检索增强分割 (J-RAS),一种用于引导图像分割的联合训练方法,将分割模型与检索模型集成。两个模型联合优化,使分割模型能够利用检索到的图像-掩码对来丰富其解剖理解,同时检索模型学习超越简单视觉相似性的分割相关特征。这种联合优化确保检索主动为边界描绘提供有意义的上下文线索,从而提升整体分割性能。我们在多个分割主干网络上验证 J-RAS,包括 U-Net、TransUNet、SAM 和 SegFormer,在两个基准数据集上进行测试:ACDC 和 M&Ms,证明其一致性改进。例如,在 ACDC 数据集上,SegFormer 在没有 J-RAS 时获得平均 Dice 得分 和平均 Hausdorff 距离 (HD) ,而使用 J-RAS后,性能显著提升至平均 Dice 得分 和平均 HD 。这些结果凸显了该方法的有效性及其在不同架构和数据集上的通用性。
引用
@article{arxiv.2510.09953,
title = {J-RAS: Enhancing Medical Image Segmentation via Retrieval-Augmented Joint Training},
author = {Salma J. Ahmed and Emad A. Mohammed and Azam Asilian Bidgoli},
journal= {arXiv preprint arXiv:2510.09953},
year = {2025}
}