基于领域自适应原型的 Segment Anything Model 提示策略用于通用医学图像分割
计算机视觉与模式识别
2024-09-20 v1
摘要
深度学习方法常因领域迁移导致性能下降。近年来，已设计出许多复杂的网络结构来解决此问题。然而，基于大规模数据训练的大型模型凭借卓越的分割能力，为解决医学分割问题引入了新的视角。本文提出一种 novel Domain-Adaptive Prompt 框架用于微调 Segment Anything Model（称为 DAPSAM），以解决医学图像分割中的单源领域泛化（SDG）问题。DAPSAM 不仅利用更适合微调的适配器，还引入基于自学习原型的提示生成器以增强模型的泛化能力。具体而言，我们首先在将重要低层特征合并到每个适配器输入之前将其整合到中间特征中，随后通过注意力过滤器去除冗余信息。此举可获得更稳健的图像嵌入。随后，我们提出使用可学习的记忆库构建领域自适应原型用于提示生成，从而实现通用医学图像分割。广泛的实验结果表明，DAPSAM 在两个具有不同模态的 SDG 医学图像分割任务上实现了最先进（SOTA）性能。代码已发布于 https://github.com/wkklavis/DAPSAM。
引用
@article{arxiv.2409.12522,
title = {Prompting Segment Anything Model with Domain-Adaptive Prototype for Generalizable Medical Image Segmentation},
author = {Zhikai Wei and Wenhui Dong and Peilin Zhou and Yuliang Gu and Zhou Zhao and Yongchao Xu},
journal= {arXiv preprint arXiv:2409.12522},
year = {2024}
}
备注
Accepted by the 27th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2024)