使用视觉Mamba和多尺度多频特征融合的遥感图像分割
计算机视觉与模式识别
2024-10-10 v1 机器学习
摘要
随着遥感成像技术的不断进步和发展，处理高分辨率和多样化的卫星图像以提高分割精度和增强解译效率成为遥感领域的一个关键研究方向。尽管基于CNN和Transformer的分割算法在性能上取得了显著进展，但平衡分割精度和计算复杂度仍然具有挑战性，限制了它们在实际任务中的广泛应用。为此，本文引入状态空间模型，并提出了一种基于视觉Mamba的新型混合语义分割网络。该方法设计了一个交叉扫描视觉状态空间块，该块使用交叉二维扫描从多个方向充分捕获全局信息，同时通过结合卷积神经网络分支来克服视觉Mamba在获取局部信息方面的限制，从而促进对全局和局部特征的全面分析。此外，为了解决直接跳跃连接判别能力有限且难以实现精细融合的问题，设计了一个多频多尺度特征融合块。该模块通过二维离散余弦变换引入多频信息以增强信息利用，并通过逐点卷积分支提供额外的尺度局部细节信息。最后，它沿通道维度聚合多尺度信息，实现精细的特征融合。在著名遥感图像数据集上的实验结果表明，所提出的CVMH-UNet在保持低计算复杂度的同时实现了优越的分割性能，超越了当前领先的分割算法。
引用
@article{arxiv.2410.05624,
title = {Remote Sensing Image Segmentation Using Vision Mamba and Multi-Scale Multi-Frequency Feature Fusion},
author = {Yice Cao and Chenchen Liu and Zhenhua Wu and Wenxin Yao and Liu Xiong and Jie Chen and Zhixiang Huang},
journal= {arXiv preprint arXiv:2410.05624},
year = {2024}
}