CAMS: 基于无卷积无注意力的 Mamba 卡态图像分割
计算机视觉与模式识别
2024-10-30 v3
摘要
卷积神经网络 (CNN) 和基于 Transformer 的自注意力模型已成为医学图像分割的标准方法。本文表明, 卷积和自注意力虽广泛使用, 但并非分割唯一有效的方法。我们打破常规, 提出一种基于 Mamba 的无卷积无自注意力语义分割网络, 命名为 CAMS-Net。具体而言, 我们设计了基于 Mamba 的通道聚合器 (Channel Aggregator) 和空间聚合器 (Spatial Aggregator), 两者分别独立应用于每个编码器-解码器阶段。通道聚合器提取不同通道之间的信息, 空间聚合器学习不同空间位置之间的特征。我们还提出了一种线性互相连接的分解 Mamba (LIFM) 块, 以降低 Mamba 块的计算复杂度, 并通过在两个分解 Mamba 块之间引入非线性来增强其决策函数。我们的模型在 CMR 和 M&Ms-2 心脏分割数据集上击败了现有的 SOTA CNN、自注意力和 Mamba-based 方法, 表明这种创新、无卷积无自注意力的方法可以激发进一步的研究, 超越 CNN 和 Transformer 框架, 实现线性复杂度并减少参数数量。源代码和预训练模型已可在: https://github.com/kabbas570/CAMS-Net 获取。
引用
@article{arxiv.2406.05786,
title = {CAMS: Convolution and Attention-Free Mamba-based Cardiac Image Segmentation},
author = {Abbas Khan and Muhammad Asad and Martin Benning and Caroline Roney and Gregory Slabaugh},
journal= {arXiv preprint arXiv:2406.05786},
year = {2024}
}
备注
This paper has been accepted for the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025