Tri-Plane Mamba：高效适配 Segment Anything Model 用于 3D 医学图像
图像与视频处理
2024-09-16 v1 计算机视觉与模式识别
摘要
用于 3D 医学图像分割的通用网络近期已得到广泛探索。这些网络卓越性能的背后，是对大量像素级标注数据的显著需求，这既耗时又费力。Segment Anything Model (SAM) 的出现使其能够通过参数和数据高效的特征适配，在 2D 医学图像分割任务中取得卓越性能。然而，3D 医学图像中额外深度通道的引入不仅阻碍了 2D 预训练特征的共享，还导致适配 SAM 的计算成本呈二次增长。为克服这些挑战，我们提出了专为 SAM 适配的 Tri-Plane Mamba (TP-Mamba) 适配器，具有两大核心创新：1) 多尺度 3D 卷积适配器，针对高效处理局部深度信息进行了优化；2) 三平面 Mamba 模块，旨在不显著增加计算成本的情况下捕获长距离深度特征表示。该方法在 3D CT 器官分割任务中达到了 SOTA 性能。值得注意的是，即使在训练数据稀缺的情况下，这种卓越性能也能得以保持。具体而言，仅使用来自 BTCV 数据集的 3 个 CT 训练样本，它就超越了传统的 3D 分割网络，Dice 得分最高提升了 12%。
引用
@article{arxiv.2409.08492,
title = {Tri-Plane Mamba: Efficiently Adapting Segment Anything Model for 3D Medical Images},
author = {Hualiang Wang and Yiqun Lin and Xinpeng Ding and Xiaomeng Li},
journal= {arXiv preprint arXiv:2409.08492},
year = {2024}
}