SAM-Med3D：面向体素医学图像的通用途分割模型
计算机视觉与模式识别
2024-09-17 v3
摘要
现有的体素医学图像分割模型通常是任务特定的，在特定目标上表现出色，却难以跨解剖结构或模态泛化。这一局限限制了其更广泛的临床应用。本文中，我们引入 SAM-Med3D 用于体素医学图像上的通用途分割。仅给定少量 3D 提示点，SAM-Med3D 即可准确分割不同模态下的多样解剖结构与病灶。为此，我们从公共来源与授权私有数据集混合收集并处理了一个大规模 3D 医学图像数据集 SA-Med3D-140K。该数据集包含 22K 张 3D 图像及 143K 个相应 3D 掩码。随后，SAM-Med3D——一种以全可学习 3D 结构为特征的提示式分割模型——在该数据集上以两阶段流程训练，并在已见与未见的分割目标上均展现出令人印象深刻的性能。我们在涵盖多样医学场景的 16 个数据集上全面评估 SAM-Med3D，包括不同解剖结构、模态、目标，以及对新/未见任务的零样本迁移能力。评估显示了 SAM-Med3D 的效率与效力，以及其作为预训练模型在多样下游任务中可观的应用前景。我们的方法表明，大量医学资源可被用于开发面向各种潜在应用的通用途医学 AI。我们的数据集、代码与模型见 https://github.com/uni-medical/SAM-Med3D。
引用
@article{arxiv.2310.15161,
title = {SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images},
author = {Haoyu Wang and Sizheng Guo and Jin Ye and Zhongying Deng and Junlong Cheng and Tianbin Li and Jianpin Chen and Yanzhou Su and Ziyan Huang and Yiqing Shen and Bin Fu and Shaoting Zhang and Junjun He and Yu Qiao},
journal= {arXiv preprint arXiv:2310.15161},
year = {2024}
}