利用先验类别语义的视觉问答
计算机视觉与模式识别
2020-05-05 v1 机器学习
摘要
我们提出一种将先验知识嵌入视觉问答模型的新机制。该任务的开放集性质与训练固定分类器的普遍做法相矛盾。我们展示了如何利用与候选答案语义相关的附加信息。我们通过语义空间中的回归目标扩展了答案预测过程，其中利用源自词嵌入的先验知识将候选答案投影到该语义空间中。我们使用 GQA 数据集对所学表示进行了广泛研究，揭示出答案空间中嵌入之间的关系捕获了重要的语义信息。我们的方法在一致性和准确性上针对一系列问题类型带来了改进。使用训练期间未见过的新答案进行的实验表明了该方法在开放集预测方面的潜力。
引用
@article{arxiv.2005.01239,
title = {Visual Question Answering with Prior Class Semantics},
author = {Violetta Shevchenko and Damien Teney and Anthony Dick and Anton van den Hengel},
journal= {arXiv preprint arXiv:2005.01239},
year = {2020}
}