Medical SAM Adapter：使Segment Anything Model适应医学图像分割
计算机视觉与模式识别
2024-01-01 v7
摘要
Segment Anything Model (SAM)近期因其在各类分割任务中的出色能力与基于提示的接口，在图像分割领域广受关注。然而，近期研究及独立实验表明，由于缺乏医学特定知识，SAM在医学图像分割中表现不佳。这引出了如何增强SAM对医学图像分割能力的问题。本文中，我们未对SAM模型进行微调，而是提出Medical SAM Adapter (Med-SA)，其通过轻量而有效的适配技术将领域特定医学知识注入分割模型。在Med-SA中，我们提出Space-Depth Transpose (SD-Trans)将2D SAM适配至3D医学图像，并提出Hyper-Prompting Adapter (HyP-Adpt)以实现提示条件适配。我们在跨多种图像模态的17项医学图像分割任务上进行了全面评估实验。Med-SA在仅更新2%参数的情况下，优于若干state-of-the-art (SOTA)医学图像分割方法。我们的代码发布于https://github.com/KidsWithTokens/Medical-SAM-Adapter。
引用
@article{arxiv.2304.12620,
title = {Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation},
author = {Junde Wu and Wei Ji and Yuanpei Liu and Huazhu Fu and Min Xu and Yanwu Xu and Yueming Jin},
journal= {arXiv preprint arXiv:2304.12620},
year = {2024}
}
备注
Code released at: https://github.com/KidsWithTokens/Medical-SAM-Adapter