SAM-Mamba: Mamba 引导的 SAM 架构用于广义零样本息肉分割
计算机视觉与模式识别
2024-12-12 v1
摘要
结肠镜检查中的息肉分割对检测结直肠癌至关重要。然而，由于息肉在结构、颜色和大小上的变化以及与周围组织缺乏清晰边界，这一任务具有挑战性。基于卷积神经网络（CNN）的传统分割模型难以捕捉细粒度模式和全局上下文，限制了其性能。基于视觉 Transformer（ViT）的模型解决了其中一些问题，但在捕捉局部上下文方面存在困难，且缺乏强大的零样本泛化能力。为此，我们提出了 Mamba 引导的分割任何模型（SAM-Mamba），用于高效息肉分割。我们的方法在编码器中引入 Mamba-Prior 模块，以弥合 SAM 通用预训练表示与息肉相关简单线索之间的差距。它将息肉图像的显著线索作为领域先验注入 SAM 图像编码器，同时捕捉多尺度的全局依赖关系，从而获得更准确的分割结果。在五个基准数据集上的广泛实验表明，SAM-Mamba 在定量和定性指标上均优于传统的 CNN、ViT 和基于 Adapter 的模型。此外，SAM-Mamba 展现出对未见数据集的出色适应性，使其非常适合实时临床使用。
引用
@article{arxiv.2412.08482,
title = {SAM-Mamba: Mamba Guided SAM Architecture for Generalized Zero-Shot Polyp Segmentation},
author = {Tapas Kumar Dutta and Snehashis Majhi and Deepak Ranjan Nayak and Debesh Jha},
journal= {arXiv preprint arXiv:2412.08482},
year = {2024}
}