PyramidMamba：基于选择性状态空间模型的遥感影像语义分割金字塔特征融合再思考
计算机视觉与模式识别
2024-06-18 v1
摘要
语义分割作为遥感图像智能解译的基本工具，在许多地球观测(EO)应用中发挥着至关重要的作用。如今，由于复杂的时空场景和多尺度地理对象，遥感图像的精确语义分割仍然是一个挑战。在深度学习浪潮的推动下，基于CNN和Transformer的语义分割方法已被广泛探索，这两种架构都揭示了多尺度特征表示对于增强地理对象语义信息的重要性。然而，由于金字塔特征中存在同质语义内容，实际的多尺度特征融合常常伴随着语义冗余问题。为了解决这个问题，我们提出了一种新颖的基于Mamba的分割网络，即PyramidMamba。具体来说，我们设计了一个即插即用的解码器，它开发了密集空间金字塔池化(DSPP)来编码丰富的多尺度语义特征，以及金字塔融合Mamba(PFM)来减少多尺度特征融合中的语义冗余。全面的消融实验证明了所提方法在增强多尺度特征表示方面的有效性和优越性，以及在实时语义分割方面的巨大潜力。此外，我们的PyramidMamba在三个公开数据集上取得了最先进的性能，即OpenEarthMap（70.8% mIoU）、ISPRS Vaihingen（84.8% mIoU）和Potsdam（88.0% mIoU）数据集。代码将在https://github.com/WangLibo1995/GeoSeg提供。
引用
@article{arxiv.2406.10828,
title = {PyramidMamba: Rethinking Pyramid Feature Fusion with Selective Space State Model for Semantic Segmentation of Remote Sensing Imagery},
author = {Libo Wang and Dongxu Li and Sijun Dong and Xiaoliang Meng and Xiaokang Zhang and Danfeng Hong},
journal= {arXiv preprint arXiv:2406.10828},
year = {2024}
}