面向交互式3D医学图像分割的轻量多轮结果融合方法
计算机视觉与模式识别
2024-12-12 v1
摘要
在医学成像中，通常需要对病变或器官进行精确标注。然而，3D体积图像通常由数百或数千个切片组成，使得标注过程极其耗时且费力。最近，Segment Anything Model (SAM) 凭借其在交互式分割中显著的零样本泛化能力引起了广泛关注。虽然研究人员已探索将 SAM 适配于医学应用，例如使用 SAM 适配器或构建 3D SAM 模型，但一个关键问题仍然存在：传统的 CNN 网络能否在此任务中实现同样强大的零样本泛化？本文提出了轻量交互式3D医学图像分割网络(LIM-Net)，一种展示紧凑型 CNN 模型潜力的新方法。LIM-Net 基于 2D CNN 骨干网络，通过从用户提示生成 2D 提示掩码来启动分割。该掩码随后通过记忆模块在 3D 序列中传播。为了在交互过程中细化和稳定结果，多轮结果融合(MRF)模块从多轮中选择并合并最优掩码。我们在多个数据集和模态上的广泛实验展示了 LIM-Net 的竞争力表现。与基于 SAM 的模型相比，它展现出更强的未见数据泛化能力，同时以更少的交互次数达到了具有竞争力的准确率。值得注意的是，LIM-Net 的轻量设计在部署和推理效率方面具有显著优势，低 GPU 内存消耗使其适用于资源受限环境。这些有前景的结果表明 LIM-Net 可作为强有力的基线，与流行的 SAM 模型互补和对比，从而进一步提升交互式医学图像分割的效果。代码将在 \url{https://github.com/goodtime-123/LIM-Net} 发布。
引用
@article{arxiv.2412.08315,
title = {Lightweight Method for Interactive 3D Medical Image Segmentation with Multi-Round Result Fusion},
author = {Bingzhi Shen and Lufan Chang and Siqi Chen and Shuxiang Guo and Hao Liu},
journal= {arXiv preprint arXiv:2412.08315},
year = {2024}
}