面向遥感图像鲁棒视觉问答的多语言增强
计算机视觉与模式识别
2023-04-11 v1
摘要
旨在基于遥感图像内容回答问题的遥感数据视觉问答（RSVQA）近年来备受关注。然而，以往 RSVQA 工作很少关注其鲁棒性。由于我们旨在提升 RSVQA 模型的可靠性，如何针对具有相同含义的新词与不同问题模板学习鲁棒表示是关键挑战。借助所提出的增强数据集，我们能够在原始问题之外获得更多含义相同的问题。为更好地利用该信息，本研究提出了一种对比学习策略，用于训练抵御多样问题模板与词汇的鲁棒 RSVQA 模型。实验结果表明，所提出的增强数据集能有效提升 RSVQA 模型的鲁棒性。此外，该对比学习策略在低分辨率（LR）数据集上表现良好。
引用
@article{arxiv.2304.03844,
title = {Multilingual Augmentation for Robust Visual Question Answering in Remote Sensing Images},
author = {Zhenghang Yuan and Lichao Mou and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2304.03844},
year = {2023}
}
备注
This paper was submitted to the JURSE 2023 conference on November 5, 2022