驯服Mamba以实现体素级别的3D医学图像分割
计算机视觉与模式识别
2024-10-22 v1
摘要
最近，3D医学分割领域主要由采用卷积神经网络（CNN）和基于Transformer的架构的深度学习模型主导，二者各有独特的优势和局限。CNN受限于局部感受野，而Transformer则因其巨大的内存要求以及数据饥渴，难以在细粒度水平上处理3D医学体积。因此， Fully卷积神经网络（如nnUNet）在分割3D大型医学体积中的医学结构仍占主导地位。尽管诸多进展致力于开发具有亚二次时间和内存复杂度的Transformer变体，但这些模型在内容基础推理方面仍不足。近期的突破性成果是Mamba，这是一种基于状态空间模型（SSMs）的循环神经网络（RNN），在许多长上下文任务（百万级序列）中超越Transformer，同时保持线性复杂度。
引用
@article{arxiv.2410.15496,
title = {Taming Mambas for Voxel Level 3D Medical Image Segmentation},
author = {Luca Lumetti and Vittorio Pipoli and Kevin Marchesini and Elisa Ficarra and Costantino Grana and Federico Bolelli},
journal= {arXiv preprint arXiv:2410.15496},
year = {2024}
}