用于视觉与文本问答的动态记忆网络
神经与进化计算
2016-03-07 v1 计算与语言
计算机视觉与模式识别
摘要
具有记忆和注意力机制的神经网络架构展现出问答所需的某些推理能力。其中一种架构，动态记忆网络（DMN），在多种语言任务上取得了高准确率。然而，尚未证明该架构在训练期间不支持事实未被标注时是否能取得强劲的问答结果，也未证明它是否能应用于图像等其他模态。基于对DMN的分析，我们提出了对其记忆和输入模块的若干改进。结合这些改变，我们引入了一种新颖的图像输入模块，以便能够回答视觉问题。我们的新DMN+模型在视觉问答数据集和babi-10k文本问答数据集上均提升了当前最优水平，且无需支持事实监督。
引用
@article{arxiv.1603.01417,
title = {Dynamic Memory Networks for Visual and Textual Question Answering},
author = {Caiming Xiong and Stephen Merity and Richard Socher},
journal= {arXiv preprint arXiv:1603.01417},
year = {2016}
}