医学图像注册迎合视觉基础模型：原型学习与轮廓感知
计算机视觉与模式识别
2025-02-18 v1
摘要
医学图像注册是医学图像分析中的基础任务，旨在建立配对图像之间的空间对应关系。然而，现有无监督可变形注册方法仅依赖强度相似度指标，缺乏显式解剖知识，限制了其准确性和鲁棒性。视觉基础模型（如Segment Anything Model, SAM）可生成高质量分割掩码，提供显式的解剖结构知识，弥补了传统方法仅依赖强度相似性的局限。基于此，我们提出一种新型SAM辅助注册框架，集成原型学习与轮廓感知。该框架包括：(1)显式解剖信息注入——使用SAM生成的分割掩码作为辅助输入，确保解剖信息在训练和测试中的一致性；(2)原型学习——利用分割掩码提取原型特征并对齐原型，以优化图像间的语义对应；(3)轮廓感知损失——设计轮廓感知损失，利用分割掩码的边缘提升模型在细粒度变形场中的性能。广泛实验表明，所提框架在多个数据集上显著优于现有方法，尤其在解剖结构复杂、边界模糊的挑战场景中表现突出。代码已公开于https://github.com/HaoXu0507/IPMI25-SAM-Assisted-Registration
引用
@article{arxiv.2502.11440,
title = {Medical Image Registration Meets Vision Foundation Model: Prototype Learning and Contour Awareness},
author = {Hao Xu and Tengfei Xue and Jianan Fan and Dongnan Liu and Yuqian Chen and Fan Zhang and Carl-Fredrik Westin and Ron Kikinis and Lauren J. O'Donnell and Weidong Cai},
journal= {arXiv preprint arXiv:2502.11440},
year = {2025}
}
备注
Accepted by Information Processing in Medical Imaging (IPMI) 2025