通过对抗训练克服遥感视觉问答中的语言偏置
计算机视觉与模式识别
2023-06-02 v1
摘要
视觉问答（Visual Question Answering, VQA）系统提供了友好的用户界面并支持人机交互。然而，VQA 模型普遍面临语言偏置的挑战，该偏置源于模型学到的问题与答案之间的表层相关性。为解决此问题，本研究提出一种新颖的框架以降低遥感数据 VQA（RSVQA）的语言偏置。具体而言，我们在原 VQA 框架上添加一个对抗分支。基于该对抗分支，我们引入两个正则化项以在训练过程中约束语言偏置。此外，为评估语言偏置方面的性能，我们提出一种新指标，将标准准确率与引入问题和随机图像信息时的性能下降相结合。实验结果证明了我们方法的有效性。我们相信该方法能为未来在 RSVQA 任务上减少语言偏置的研究提供启示。
引用
@article{arxiv.2306.00483,
title = {Overcoming Language Bias in Remote Sensing Visual Question Answering via Adversarial Training},
author = {Zhenghang Yuan and Lichao Mou and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2306.00483},
year = {2023}
}