AdaVQA：以适配间隔余弦损失克服语言先验
计算机视觉与模式识别
2021-05-06 v1
摘要
大量研究指出，当前的视觉问答（VQA）模型受到语言先验问题的严重影响，即基于语言捷径盲目做出预测。一些工作致力于通过精细的模型来克服该问题。然而，尽管现有 VQA 方法都将 VQA 视为分类任务，却尚无研究从答案特征空间学习的角度来解决它。受此启发，本文尝试从特征空间学习的视角应对语言先验问题。为此，设计了一种适配间隔余弦损失，以在每个问题类型下恰当地区分频繁与稀疏的答案特征空间。结果，语言模态内的有限模式被大幅削弱，从而我们的方法引入了更少的语言先验。我们将该损失函数应用于若干基线模型，并在两个 VQA-CP 基准上评估其有效性。实验结果表明，我们的适配间隔余弦损失可大幅增强基线模型，平均绝对性能提升达 15%，有力验证了从答案特征空间学习角度解决 VQA 语言先验问题的潜力。
引用
@article{arxiv.2105.01993,
title = {AdaVQA: Overcoming Language Priors with Adapted Margin Cosine Loss},
author = {Yangyang Guo and Liqiang Nie and Zhiyong Cheng and Feng Ji and Ji Zhang and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2105.01993},
year = {2021}
}