MarioQA：通过观看游戏视频回答问题
计算机视觉与模式识别
2017-08-15 v2
摘要
我们提出一个框架，利用可定制的合成数据集分析视频问答（VideoQA）模型的各个方面，这些数据集由游戏视频自动构建。我们的工作源于现有模型通常仅在需要过高层次推理或主要包含可通过单帧推断访问的实例的数据集上进行测试。因此，难以衡量已训练模型的能力和灵活性，且现有技术往往依赖于深度神经网络的特定实现，缺乏对数据集和模型的清晰洞察。我们尤其关注理解视频事件之间的时序关系以解决VideoQA问题；这是因为时序依赖推理是视频区别于图像的最显著组成部分之一。为实现这一目标，我们使用《超级马里奥兄弟》游戏视频自动生成一个定制的合成VideoQA数据集，使其包含具有不同推理复杂度层次的事件。利用该数据集，我们表明，正确构建的、包含各种复杂度层次事件的数据集对于学习有效模型和提升整体性能至关重要。
引用
@article{arxiv.1612.01669,
title = {MarioQA: Answering Questions by Watching Gameplay Videos},
author = {Jonghwan Mun and Paul Hongsuck Seo and Ilchae Jung and Bohyung Han},
journal= {arXiv preprint arXiv:1612.01669},
year = {2017}
}