nnMamba：基于状态空间模型的3D生物医学图像分割、分类与关键点检测
计算机视觉与模式识别
2024-03-12 v2
摘要
在生物医学图像分析领域，寻找能够有效捕捉长程依赖关系的架构至关重要，尤其是在处理3D图像分割、分类和关键点检测时。传统的卷积神经网络（CNNs）受限于局部感受野，而Transformer在处理高维医学图像时计算负载沉重。在本文中，我们介绍了nnMamba，这是一种新颖的架构，它融合了CNNs的优势和状态空间序列模型（SSMs）的先进长程建模能力。具体来说，我们提出了带有通道-空间孪生学习的Mamba-In-Convolution（MICCSS）模块来建模体素间的长程关系。对于密集预测和分类任务，我们还设计了通道缩放和通道顺序学习方法。在6个数据集上的大量实验表明，nnMamba在包括3D图像分割、分类和关键点检测在内的一系列挑战性任务中，均优于当前最先进的方法。nnMamba作为一种稳健的解决方案脱颖而出，同时提供了CNNs的局部表示能力和SSMs的高效全局上下文处理能力，为医学图像分析中的长程依赖建模设立了新标准。代码可在https://github.com/lhaof/nnMamba获取。
引用
@article{arxiv.2402.03526,
title = {nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model},
author = {Haifan Gong and Luoyao Kang and Yitao Wang and Xiang Wan and Haofeng Li},
journal= {arXiv preprint arXiv:2402.03526},
year = {2024}
}
备注
Code is available at https://github.com/lhaof/nnMamba