Medical SAM 2：通过Segment Anything Model 2将医学图像分割视为视频处理
计算机视觉与模式识别
2024-12-06 v2
摘要
医学图像分割在临床诊断和治疗规划中起着关键作用，但现有模型在泛化能力和统一处理2D与3D数据方面面临挑战。在本文中，我们提出了Medical SAM 2（MedSAM-2），一种用于通用2D和3D医学图像分割的广义自动跟踪模型。其核心思想是利用Segment Anything Model 2（SAM2）流水线将所有2D和3D医学分割任务视为视频目标跟踪问题。为实现这一点，我们提出了一种新颖的自排序记忆库机制，该机制根据置信度和相异性动态选择信息嵌入，不受时间顺序限制。该机制不仅显著提升了3D医学图像分割的性能，还解锁了2D图像的单提示分割能力，允许从单个提示跨多张图像进行分割而无需时间关系。我们在五个2D任务和九个3D任务上评估了MedSAM-2，包括白细胞、视杯、视网膜血管、下颌骨、冠状动脉、肾肿瘤、肝肿瘤、乳腺癌、鼻咽癌、前庭神经鞘瘤、纵隔淋巴结、大脑动脉、下牙槽神经和腹部器官，并将其与任务专用、通用和交互式分割设置中的最先进（SOTA）模型进行了比较。我们的结果表明MedSAM-2超越了广泛存在的现有模型，并在多个基准测试上更新了SOTA。代码已发布在项目页面：https://supermedintel.github.io/Medical-SAM2/。
引用
@article{arxiv.2408.00874,
title = {Medical SAM 2: Segment medical images as video via Segment Anything Model 2},
author = {Jiayuan Zhu and Abdullah Hamdi and Yunli Qi and Yueming Jin and Junde Wu},
journal= {arXiv preprint arXiv:2408.00874},
year = {2024}
}