Segment Anything Model 2 在 2D 和 3D 医学图像中的应用
计算机视觉与模式识别
2024-08-23 v3 人工智能
摘要
Segment Anything Model（SAM）因其在给定提示下对图像中各种对象进行分割的能力而受到广泛关注。最近开发的 SAM 2 将这一能力扩展到了视频输入。这为将 SAM 应用于 3D 图像打开了机会窗口，而 3D 图像分割是医学成像领域的基础任务之一。在本文中，我们通过首先收集 21 个医学成像数据集，全面评估了 SAM 2 对 2D 和 3D 医学图像的分割能力，这些数据集包括手术视频、常见的三维模态（如计算机断层扫描（CT）、磁共振成像（MRI）和正电子发射断层扫描（PET））以及二维模态（如 X 射线和超声）。我们考虑了 SAM 2 的两种评估设置：（1）多帧 3D 分割，其中提示提供给从体积中选出的一个或多个切片；（2）单帧 2D 分割，其中提示提供给每个切片。前者仅适用于视频和三维模态，而后者适用于所有数据集。我们的结果表明，在单帧 2D 分割中，SAM 2 的表现与 SAM 相似，而在多帧 3D 分割中，其性能因所选择用于标注的切片、传播方向、传播过程中使用的预测等因素而异。我们认为我们的工作加深了对 SAM 2 在医学领域行为的理解，并为未来将 SAM 2 适配到该领域提供了方向。我们的代码可在以下地址获取：https://github.com/mazurowski-lab/segment-anything2-medical-evaluation.
引用
@article{arxiv.2408.00756,
title = {Segment anything model 2: an application to 2D and 3D medical images},
author = {Haoyu Dong and Hanxue Gu and Yaqian Chen and Jichen Yang and Yuwen Chen and Maciej A. Mazurowski},
journal= {arXiv preprint arXiv:2408.00756},
year = {2024}
}
备注
20 pages, 13 figures. Codes are available at https://github.com/mazurowski-lab/segment-anything2-medical-evaluation