面向鲁棒视觉问答的自批判推理
计算机视觉与模式识别
2020-01-01 v3 计算与语言
摘要
视觉问答（VQA）深度学习系统往往因强语言先验而捕捉训练数据中的表层统计相关性，无法泛化至问答（QA）分布显著不同的测试数据。为解决此问题，我们引入一种自批判训练目标，确保正确答案的视觉解释比其他竞争答案候选更匹配最具影响力的图像区域。这些影响力区域或由人类视觉/文本解释确定，或由问题中仅有的显著词与答案自动确定。我们在VQA-CP数据集上使用VQA泛化任务评估了我们的方法，利用文本解释取得了49.5%的新最优性能，利用自动标注区域取得了48.5%的最优性能。
引用
@article{arxiv.1905.09998,
title = {Self-Critical Reasoning for Robust Visual Question Answering},
author = {Jialin Wu and Raymond J. Mooney},
journal= {arXiv preprint arXiv:1905.09998},
year = {2020}
}
备注
In NeurIPS 2019