SOrT-ing VQA模型:基于对比梯度学习提升一致性
计算机视觉与模式识别
2020-12-02 v2 人工智能
计算与语言
机器学习
摘要
视觉问答(VQA)的近期研究揭示,最先进的模型对世界的理解存在不一致——它们能正确回答看似需要推理的困难问题,却答错更简单的相关子问题。这些子问题涉及图像中模型理想情况下为正确回答高层问题所应理解的低层视觉概念。为此,我们首先提出一种基于梯度的可解释性方法,以确定在图像上与推理问题最强相关的问题,并据此评估VQA模型识别回答推理问题所需相关子问题的能力。接着,我们提出一种称为子问题导向调优(Sub-question Oriented Tuning, SOrT)的基于对比梯度学习的方法,它鼓励模型对<图像, 推理问题>对将相关子问题排在无关问题之上。我们表明,SOrT将模型一致性较现有基线提升了至多6.5个百分点,同时也改善了视觉定位。
引用
@article{arxiv.2010.10038,
title = {SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency},
author = {Sameer Dharur and Purva Tendulkar and Dhruv Batra and Devi Parikh and Ramprasaath R. Selvaraju},
journal= {arXiv preprint arXiv:2010.10038},
year = {2020}
}
备注
Accepted to the NeurIPS 2020 workshop on Interpretable Inductive Biases and Physically Structured Learning