用于理解多模态步骤的程序性推理网络
计算与语言
2019-09-20 v1 计算机视觉与模式识别
摘要
本文解决理解程序性常识知识的问题。这是一项具有挑战性的任务，因为它要求识别关键实体、追踪其状态变化并理解时间与因果关系。与以往多数工作相反，本研究不依赖强归纳偏置，并探讨如何利用多模态以提供互补的语义信号。为此，我们引入一种新颖的实体感知神经理解模型，并辅以外部关系记忆单元。我们的模型在阅读文本指令时学习动态地相互更新实体状态。我们在近期提出的 RecipeQA 数据集上的视觉推理任务中的实验分析表明，我们的方法大幅提升了先前所报告模型的准确率。此外，我们发现尽管未在实体状态层面使用任何监督，我们的模型仍学习到有效的实体动态表示。
引用
@article{arxiv.1909.08859,
title = {Procedural Reasoning Networks for Understanding Multimodal Procedures},
author = {Mustafa Sercan Amac and Semih Yagcioglu and Aykut Erdem and Erkut Erdem},
journal= {arXiv preprint arXiv:1909.08859},
year = {2019}
}
备注
Accepted to CoNLL 2019. The project website with code and demo is available at https://hucvl.github.io/prn/