SpecSAR-Former：用于整合 Sentinel-1 和 Sentinel-2 数据的轻量级 Transformer 全球 LULC 映射网络
图像与视频处理
2024-10-08 v1 计算机视觉与模式识别
摘要
近期遥感方法越来越关注多模态数据，受益于多样化地球观测数据集的日益增长。将来自不同模态的互补信息集成已显示出在增强语义理解方面的巨大潜力。然而，现有的全球多模态数据集常常缺乏合成孔径雷达 (SAR) 数据，SAR 在捕捉纹理和结构细节方面表现突出。作为其他模态的互补视角，SAR 促进了利用空间信息进行全球土地利用和土地被覆 (LULC) 的利用。为填补这一差距，我们引入了 Dynamic World+ 数据集，将当前权威的多光谱数据集 Dynamic World 拓展至对齐的 SAR 数据。此外，为促进多光谱和 SAR 数据的结合，我们提出了一种轻量级 Transformer 架构，称为 SpecSAR-Former。它包含两种创新模块：双模态增强模块 (DMEM) 和相互模态聚合模块 (MMAM)，旨在以分离-融合方式利用两种模态之间的交叉信息。这些模块增强了模型整合光谱和空间信息的能力，从而提高了全球 LULC 语义分割的整体性能。进一步地，我们采用不平衡参数分配策略，根据各模态的重要性和信息密度分配参数。广泛的实验表明，我们的网络在超越现有 Transformer 和 CNN 模型方面表现优异，在 26.70M 参数下实现了平均交并比 (mIoU) 为 59.58%、整体准确率 (OA) 为 79.48% 和 F1 分数为 71.68%。代码将在 https://github.com/Reagan1311/LULC_segmentation 提供。
引用
@article{arxiv.2410.03962,
title = {SpecSAR-Former: A Lightweight Transformer-based Network for Global LULC Mapping Using Integrated Sentinel-1 and Sentinel-2},
author = {Hao Yu and Gen Li and Haoyu Liu and Songyan Zhu and Wenquan Dong and Changjian Li},
journal= {arXiv preprint arXiv:2410.03962},
year = {2024}
}