3DSAM-adapter：将 SAM 从 2D 整体适配到 3D 用于可提示肿瘤分割

尽管 segment anything model（SAM）在通用语义分割上取得了令人印象深刻的成果，对日常图像具有强大的泛化能力，但其在医学图像分割上表现不够精确且不稳定，尤其在处理涉及小尺寸、不规则形状和低对比度物体的肿瘤分割任务时。值得注意的是，原始 SAM 架构是为 2D 自然图像设计的，因此无法从体积医学数据中有效提取 3D 空间信息。本文中，我们提出一种新颖的适配方法，将 SAM 从 2D 迁移到 3D 用于可提示医学图像分割。通过整体设计的架构修改方案，我们将 SAM 转换为支持体积输入，同时保留其大部分预训练参数以供复用。微调过程以参数高效的方式进行，其中大多数预训练参数保持冻结，仅引入并调整少量轻量级空间适配器。尽管自然与医学数据之间存在领域差距，且 2D 与 3D 空间排布不同，在自然图像上训练的 transformer 仅需轻量级适配即可有效捕捉体积医学图像中的空间模式。我们在四个开源肿瘤分割数据集上实验，通过单次点击提示，我们的模型在 4 项任务中的 3 项上优于领域最先进的医学图像分割模型，具体而言，肾肿瘤、胰腺肿瘤、结肠癌分割分别提升 8.25%、29.87% 和 10.11%，并在肝肿瘤分割上取得相近性能。我们还将我们的适配方法与现有流行适配器比较，观察到在大多数数据集上的显著性能提升。