理解场景图在视觉问答中的作用
计算机视觉与模式识别
2021-01-19 v2 机器学习
摘要
视觉问答（VQA）引起了研究界的极大兴趣，其重要应用包括辅助视障用户和基于图像的搜索。在这项工作中，我们探索使用场景图来解决 VQA 任务。我们在 GQA 数据集上进行实验，该数据集提出了一组具有挑战性的问题，需要计数、组合性和高级推理能力，并为大量图像提供了场景图。我们采用图像+问题架构以配合场景图使用，评估了针对未见图像的多种场景图生成技术，提出了一种利用人工标注和自动生成场景图的训练课程，并构建了后期融合架构以从多种图像表示中学习。我们对场景图用于 VQA 进行了多方面的研究，使本工作成为该领域的首创。
引用
@article{arxiv.2101.05479,
title = {Understanding the Role of Scene Graphs in Visual Question Answering},
author = {Vinay Damodaran and Sharanya Chakravarthy and Akshay Kumar and Anjana Umapathy and Teruko Mitamura and Yuta Nakashima and Noa Garcia and Chenhui Chu},
journal= {arXiv preprint arXiv:2101.05479},
year = {2021}
}