基于双向对齐引导的Referring Remote Sensing Image Segmentation

指示性遥感图像分割（Referring Remote Sensing Image Segmentation, RRSIS）是生态监测、城市规划和灾害管理中至关重要的任务，需要对遥感图像中由文本描述引导的目标进行精确分割。该任务独特的挑战在于显著的视觉-语言鸿沟、遥感图像的高空间分辨率和广覆盖范围，涉及多样化的类别和小目标，以及聚集的、不清晰的目标和模糊边缘的存在。为解决这些问题，我们提出了\ours，一个新型框架，旨在桥接视觉-语言鸿沟、增强多尺度特征交互并提高细粒度目标区分。具体而言，\ours引入了：（1）双向空间相关（BSC）以实现更好的视觉-语言特征对齐，（2）目标-背景双流解码器（T-BTD）以精确区分目标与非目标，（3）双模态对象学习策略（D-MOLS）以实现稳健的多模态特征重建。在RefSegRS和RRSIS-D两个基准数据集上进行的大量实验表明，\ours实现了最先进的性能。具体而言，\ours在两个数据集上的整体IoU（oIoU）分别提高了3.76个百分点（80.57）和1.44个百分点（79.23），在平均IoU（mIoU）方面超越了前述方法5.37个百分点（67.95）和1.84个百分点（66.04），有效解决了RRSIS的核心挑战，实现了更高的精度和鲁棒性。