用于指代遥感图像分割的多模态感知融合网络
计算机视觉与模式识别
2025-03-17 v1
摘要
指代遥感图像分割（RRSIS）是遥感图像分割中的一项新型视觉任务，旨在根据给定的文本描述分割目标，在实际应用中具有重要意义。以往的研究通过显式特征交互融合视觉和语言模态，未能有效地从双分支编码器中挖掘有用的多模态信息。在本文中，我们设计了一个多模态感知融合网络（MAFN），以实现两种模态之间的细粒度对齐与融合。我们提出了一个相关性融合模块（CFM），通过在 Transformer 中引入自适应噪声来增强多尺度视觉特征，并整合跨模态感知特征。此外，MAFN 采用多尺度细化卷积（MSRC）以适应不同尺度下目标的各种方向，增强其表示能力从而提高分割精度。大量实验表明，MAFN 在 RRSIS-D 数据集上明显比现有技术更有效。源代码可在 https://github.com/Roaxy/MAFN 获取。
引用
@article{arxiv.2503.11183,
title = {Multimodal-Aware Fusion Network for Referring Remote Sensing Image Segmentation},
author = {Leideng Shi and Juan Zhang},
journal= {arXiv preprint arXiv:2503.11183},
year = {2025}
}
备注
5 pages, 5 figures, accepted in IEEE Geoscience and Remote Sensing Letters (GRSL)