SkinMamba：一种基于跨尺度全局状态建模和频率边界引导的精准皮肤瘤分割架构
图像与视频处理
2024-09-18 v1 计算机视觉与模式识别
摘要
皮肤瘤分割是识别早期皮肤癌的关键方法。近年来，卷积神经网络 (CNN) 和 Transformer-based 方法广泛应用于此任务。此外，有效地将 CNN 与 Transformer 结合能够整合全局与局部关系，但受限于 Transformer 的二次复杂度。为此，我们提出一种基于 Mamba 和 CNN 的混合架构，称为 SkinMamba。它在保持线性复杂度的同时，具备强大的长程依赖建模和局部特征提取能力。具体而言，我们引入比例残差状态空间模块 (SRSSB)，捕获全局语境关系和跨尺度信息交换，宏观层面上实现全局状态下的专家间的沟通。这有效解决了皮肤瘤分割中与不同瘤 tumor 大小和隐秘目标区域相关的挑战。此外，为缓解模型下采样过程中边界模糊和信息丢失的问题，我们引入频率边界引导模块 (FBGM)，提供充足的边界先验以引导精确的边界分割，同时利用保留的信息辅助解码器的解码过程。最后，我们在两个公开的皮肤瘤分割数据集 (ISIC2017 和 ISIC2018) 上进行了比较和消融实验，结果表明 SkinMamba 在皮肤瘤分割任务中具有强大的竞争力。代码已公开于 https://github.com/zs1314/SkinMamba。
引用
@article{arxiv.2409.10890,
title = {SkinMamba: A Precision Skin Lesion Segmentation Architecture with Cross-Scale Global State Modeling and Frequency Boundary Guidance},
author = {Shun Zou and Mingya Zhang and Bingjian Fan and Zhengyi Zhou and Xiuguo Zou},
journal= {arXiv preprint arXiv:2409.10890},
year = {2024}
}
备注
Submitted to ACCV2024 workshop