中文

一种新的场景耦合语义掩码网络用于遥感图像分割

图像与视频处理 2025-01-24 v1

摘要

空间注意力机制是计算机视觉领域的常见方法,因其在建模长程依赖方面的优势而广泛应用于遥感图像语义分割。然而,遥感图像通常具有复杂的背景和较大的类内方差,这会降低其分析性能。虽然常规空间注意力机制基于稠密仿射运算,却容易引入大量背景上下文信息,缺乏对内在空间相关性的考虑。为解决此限制,本文提出一种新的场景耦合语义掩码网络 (scene-Coupling semantic mask network),用场景耦合和局部全局语义掩码策略来重构常规注意力机制。具体而言,场景耦合模块将场景信息分解为全局表征和目标分布,然后嵌入注意力亲和过程。这一策略有效利用了特征之间的内在空间相关性,从而提高注意力建模过程。同时,局部全局语义掩码模块通过将局部语义掩码作为中间感知元件,间接地将像素与全局语义掩码相关联,这有助于减少背景上下文干扰并缓解类内方差的影响。通过结合上述两种策略,我们提出了模型 SCSM,不仅能够高效分割复杂场景下的各种地理空间对象,而且具有简洁优雅的数学表征。实验结果表明,这两种策略在提升遥感图像的注意力建模方面具有显著效果。数据集和代码均可在 https://github.com/xwmaxwma/rssegmentation 获取。

关键词

引用

@article{arxiv.2501.13130,
  title  = {A Novel Scene Coupling Semantic Mask Network for Remote Sensing Image Segmentation},
  author = {Xiaowen Ma and Rongrong Lian and Zhenkai Wu and Renxiang Guan and Tingfeng Hong and Mengjiao Zhao and Mengting Ma and Jiangtao Nie and Zhenhong Du and Siyang Song and Wei Zhang},
  journal= {arXiv preprint arXiv:2501.13130},
  year   = {2025}
}

备注

Accepted by ISPRS Journal of Photogrammetry and Remote Sensing