RSVG：探索遥感数据视觉定位的数据与模型
计算机视觉与模式识别
2023-05-03 v1
摘要
本文引入遥感数据视觉定位（RSVG）任务。RSVG 旨在以自然语言为引导，在遥感（RS）图像中定位所指对象。为利用自然语言从 RS 影像中检索丰富信息，诸多研究任务如 RS 图像视觉问答、RS 图像描述生成及 RS 图文检索已被广泛探究。然而，RS 图像上的对象级视觉定位仍待深入探索。为此，本工作提出构建数据集并探索深度学习模型以服务于 RSVG 任务。具体地，我们的贡献可总结如下：1）我们构建了名为 RSVGD 的新型大规模 RSVG 基准数据集，以全面推动 RSVG 研究。该数据集包含用于训练和评估视觉定位模型的图像/表达/框三元组。2）我们在所构建的 RSVGD 数据集上基准测试了多种前沿（SOTA）自然图像视觉定位方法，并基于结果给出若干深入剖析。3）提出一种基于 transformer 的多级跨模态特征学习（MLCM）新模块。遥感图像通常存在大尺度变化与杂乱背景。为应对尺度变化问题，MLCM 模块利用多尺度视觉特征与多粒度文本嵌入学习更具判别力的表示；为处理杂乱背景问题，MLCM 自适应过滤无关噪声并增强显著特征。由此，我们所提模型能融合更有效的多级多模态特征以提升性能。此外，本工作也为开发更优 RSVG 模型提供了有益见解。数据集与代码将公开于 https://github.com/ZhanYang-nwpu/RSVG-pytorch。
引用
@article{arxiv.2210.12634,
title = {RSVG: Exploring Data and Models for Visual Grounding on Remote Sensing Data},
author = {Yang Zhan and Zhitong Xiong and Yuan Yuan},
journal= {arXiv preprint arXiv:2210.12634},
year = {2023}
}
备注
12 pages, 10 figures