基于金字塔池化辅助SSM的遥感图像语义分割模型 PPMamba
计算机视觉与模式识别
2024-09-11 v1 图像与视频处理
摘要
语义分割是遥感领域的重要任务。然而，传统卷积神经网络（CNN）和基于变换器的方法在捕获长程依赖方面存在局限，或计算负担较重。最近出现的一种高级状态空间模型（SSM），即 Mamba，因其线性计算复杂度和有效建立长程依赖的优势受到关注。尽管具备上述优势，基于 Mamba 的方法在保持局部语义信息方面面临挑战。为此，本文提出一种新型网络称为金字塔池化 Mamba（PPMamba），集成 CNN 与 Mamba 用于遥感图像语义分割任务。PPMamba 的核心结构金字塔池化状态空间模型（PP-SSM）模块，结合局部辅助机制与全向状态空间模型（OSS），后者从八个方向选择性扫描特征图，全面捕获特征信息。此外，辅助机制包括设计用于多尺度特征提取的金字塔形卷积分支。在广泛使用的 ISPRS Vaihingen 与 LoveDA Urban 数据集上的大量实验表明，PPMamba 在与最先进模型之间取得了具竞争力的性能。
引用
@article{arxiv.2409.06309,
title = {PPMamba: A Pyramid Pooling Local Auxiliary SSM-Based Model for Remote Sensing Image Semantic Segmentation},
author = {Yin Hu and Xianping Ma and Jialu Sui and Man-On Pun},
journal= {arXiv preprint arXiv:2409.06309},
year = {2024}
}