用于电影故事问答的渐进注意力记忆网络
计算机视觉与模式识别
2019-04-19 v1
摘要
本文提出用于电影故事问答(QA)的渐进注意力记忆网络(PAMN)。与VQA相比，电影故事QA在两方面具有挑战性：(1)由于电影通常长于一小时，定位与回答问题相关的时间片段较为困难；(2)它同时包含视频和字幕，不同问题需要不同模态来推断答案。为克服这些挑战，PAMN包含三个主要特性：(1)渐进注意力机制，利用来自问题和答案的线索逐步剪除记忆中无关的时间片段；(2)动态模态融合，自适应地确定各模态对回答当前问题的贡献；(3)信念修正回答方案，依次修正对每个候选答案的预测分数。在公开基准数据集MovieQA和TVQA上的实验表明，每个特性都对我们的电影故事QA架构PAMN有所贡献，并提升性能达到了最先进结果。还提供了通过可视化PAMN推理机制的定性分析。
引用
@article{arxiv.1904.08607,
title = {Progressive Attention Memory Network for Movie Story Question Answering},
author = {Junyeong Kim and Minuk Ma and Kyungsu Kim and Sungjin Kim and Chang D. Yoo},
journal= {arXiv preprint arXiv:1904.08607},
year = {2019}
}
备注
CVPR 2019, Accepted