Sam2Rad：用于医学图像的带可学习提示的分割模型
计算机视觉与模式识别
2025-06-24 v1
摘要
像化学物探索模型（SAM）这样的基础模型需要高质量的手动提示才能进行医学图像分割，这既耗时又需要专业知识。SAM及其变体常因领域迁移而在超声（US）图像中无法正确分割结构。我们提出了Sam2Rad，这是一种针对US骨骼分割的提示学习方法，无需人类提示即可适应SAM及其变体。它引入了一个带有跨注意力模块的提示预测网络（PPN），用于从图像编码器特征预测提示嵌入。PPN输出边界框和掩码提示，以及256维的感兴趣区域嵌入。该框架支持可选的手动提示，并且可以针对参数高效微调（PEFT）进行端到端训练。Sam2Rad在3个肌肉骨骼US数据集上进行了测试：腕部（3822图像）、肩袖（1605图像）和髋部（4849图像）。在没有手动提示的情况下，Sam2Rad在所有数据集上均实现了性能提升，髋部/腕部的Dice评分提高了2-7%，肩部数据提高了最高可达33%。Sam2Rad可以仅使用10张标注图像进行训练，并且与任何SAM架构兼容，可实现自动分割。
引用
@article{arxiv.2409.06821,
title = {Sam2Rad: A Segmentation Model for Medical Images with Learnable Prompts},
author = {Assefa Seyoum Wahd and Banafshe Felfeliyan and Yuyue Zhou and Shrimanti Ghosh and Adam McArthur and Jiechen Zhang and Jacob L. Jaremko and Abhilash Hareendranathan},
journal= {arXiv preprint arXiv:2409.06821},
year = {2025}
}