Mamba meets 裂缝分割

裂缝构成基础设施的安全风险，不能被忽视。现有裂缝分割网络的主流结构主要由 CNN 或 Transformer 构成。然而，CNN 在全局建模能力上存在不足，限制了对整个裂缝特征的表征。Transformer 能够捕获长程依赖，但 suffer于高和二次复杂度。最近，Mamba 因其线性空间和计算复杂度以及强大的全局感知能力而引起广泛关注。本研究探索了 Mamba 对裂缝特征的表示能力。具体而言，本文揭示了 Mamba 与注意力机制之间的联系，提供了深刻的洞见，从而为解释 Mamba 并设计出一种新型 Mamba 模块 following 注意力块的原则，即 CrackMamba。我们将 CrackMamba 与最突出的视觉 Mamba 模块 Vim 和 Vmamba 在两组包含沥青路面和混凝土路面裂缝以及钢材裂缝的数据集上进行比较。定量结果表明，CrackMamba 是唯一在所有评估指标上都显著提升基线模型性能的 Mamba 模块，同时减少了参数和计算成本。此外，本文通过理论分析和视觉可解释性，进一步证实了 Mamba 能够通过实现全局感受野。本研究的发现为双重贡献：首先，作为即插即用且简单而有效的 Mamba 模块，CrackMamba 显示出巨大的潜力，可集成到各种裂缝分割模型中；其次，提出的创新性 Mamba 设计概念，将 Mamba 与注意力机制集成，对于所有基于 Mamba 的计算机视觉模型具有重要的参考价值，不仅限于裂缝分割网络。