基于Mamba的3D多模态医学图像肿瘤分割特征提取与自适应多层特征融合
计算机视觉与模式识别
2025-05-01 v1
摘要
多模态3D医学图像分割旨在准确识别不同模态下的肿瘤区域，面临图像强度和肿瘤形态学变化的挑战。传统的基于卷积神经网络（CNN）的方法难以捕获全局特征，而基于Transformer的方法虽然有效地捕获了全局上下文，但在3D医学图像分割中遇到了高计算成本。Mamba模型结合了线性可扩展性和长距离建模能力，成为一种有前景的视觉表征学习方法。然而，Mamba-based的3D多模态分割仍难以充分利用模态特定特征并有效融合互补信息。本文提出了一种基于Mamba的3D肿瘤分割特征提取与自适应多层特征融合方法。我们首先开发了特定于模态的Mamba编码器，高效提取代表每种模态中解剖和病理结构的远程相关特征。此外，我们设计了一个双层协同集成模块，通过模态注意力和通道注意力学习，动态融合多模态和多层互补特征。最后，解码器将深层语义信息与细粒度细节相结合，以生成肿瘤分割图。在医学图像数据集（PET/CT和MRI多序列）上的实验结果表明，我们的方法在性能上与最先进的CNN、Transformer和Mamba-based方法相称。
引用
@article{arxiv.2504.21281,
title = {Mamba Based Feature Extraction And Adaptive Multilevel Feature Fusion For 3D Tumor Segmentation From Multi-modal Medical Image},
author = {Zexin Ji and Beiji Zou and Xiaoyan Kui and Hua Li and Pierre Vera and Su Ruan},
journal= {arXiv preprint arXiv:2504.21281},
year = {2025}
}