探索遥感图像的高效词表分割
计算机视觉与模式识别
2025-11-18 v2 人工智能
摘要
开放词表遥感图像分割（OVRSIS）是一种将开放词表分割（OVS）应用于遥感（RS）领域的新兴任务，由于缺乏统一的评估基准以及自然图像与遥感图像之间的领域差距，仍未得到充分探索。为弥合这些差距，我们首先建立了一个基于广泛使用的遥感分割数据集的标准化OVRSIS基准（OVRSISBench），实现方法间的一致评估。使用该基准，我们全面评估了several代表性的OVS/OVRSIS模型，揭示了其在直接应用于遥感场景时存在的局限性。基于这些见解，我们提出了一种针对遥感的新型开放词表分割框架——RSKT-Seg。RSKT-Seg集成了三个关键组件：（1）一个多方向成本图聚合（RS-CMA）模块，通过计算多个方向上的视觉语言余弦相似度来捕获旋转不变的视觉线索；（2）一个高效成本图融合（RS-Fusion）变换器，通过轻量级的维度降低策略联合建模空间与语义依赖性；（3）一个遥感知识迁移（RS-Transfer）模块，通过增强的上采样注入预训练知识并促进领域适应。大量实验表明，在该基准上，RSKT-Seg相比强大的OVS基线在mIoU提升3.8分，mACC提升5.9分，同时通过高效聚合实现了2倍的推理速度。我们的代码请点击此处。
引用
@article{arxiv.2509.12040,
title = {Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing},
author = {Bingyu Li and Haocheng Dong and Da Zhang and Zhiyuan Zhao and Junyu Gao and Xuelong Li},
journal= {arXiv preprint arXiv:2509.12040},
year = {2025}
}