SkyScript：面向遥感的大型语义多样视觉-语言数据集
计算机视觉与模式识别
2023-12-21 v1 人工智能
机器学习
摘要
遥感影像在助力实现可持续发展目标和应对气候变化方面具有广泛应用，但尚未从近期多用途、任务无关的视觉语言模型（VLM）的进步中获益。一个关键原因在于，开发 VLM 所需的大规模、语义多样的遥感影像-文本数据集仍然缺失。与自然图像不同，遥感影像及其相关文本描述无法从公共互联网上大规模高效收集。在本研究中，我们通过使用地理坐标将开放的未标注遥感影像与 OpenStreetMap 中涵盖的丰富语义自动连接，从而构建了 SkyScript，一个面向遥感影像的综合视觉语言数据集，包含 260 万个涵盖 29K 个不同语义标签的图像-文本对。通过在该数据集上进行持续预训练，我们获得了一个 VLM，在七个基准数据集的零样本场景分类中，其平均准确率比基线模型提高了 6.2%。它还展示了在细粒度对象属性分类和跨模态检索方面的零样本迁移能力。我们希望该数据集能够支持遥感中各种多模态任务 VLM 的发展，例如开放词汇分类、检索、图像描述和文本到图像合成。
引用
@article{arxiv.2312.12856,
title = {SkyScript: A Large and Semantically Diverse Vision-Language Dataset for Remote Sensing},
author = {Zhecheng Wang and Rajanie Prabha and Tianyuan Huang and Jiajun Wu and Ram Rajagopal},
journal= {arXiv preprint arXiv:2312.12856},
year = {2023}
}
备注
Accepted by AAAI 2024