工作记忆网络：以关系推理模块增强记忆网络
计算与语言
2018-05-25 v1
摘要
在过去几年中，利用深度神经网络实现某种复杂推理引起了大量关注。为此，诸如记忆网络（MemNNs）等模型结合了外部记忆存储与注意力机制。然而，这些架构缺乏可允许例如关系推理的更复杂推理机制。另一方面，关系网络（RNs）在关系推理任务中展现了卓越的结果。遗憾的是，其计算成本随记忆数量呈二次增长，对较大问题而言难以承受。为解决这些问题，我们引入了工作记忆网络，一种带有新颖工作记忆存储与推理模块的 MemNN 架构。我们的模型保留了 RN 的关系推理能力，同时将其计算复杂度从二次降为线性。我们在文本问答数据集 bAbI 与视觉问答数据集 NLVR 上测试了模型。在联合训练的 bAbI-10k 上，我们设立了新的 SOTA，实现了小于 0.5% 的平均误差。此外，我们两个模型的简单集成解决了基准联合版本中的全部 20 项任务。
引用
@article{arxiv.1805.09354,
title = {Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module},
author = {Juan Pavez and Héctor Allende and Héctor Allende-Cid},
journal= {arXiv preprint arXiv:1805.09354},
year = {2018}
}
备注
Published in ACL 2018. The code for these studies is available at https://github.com/jgpavez/Working-Memory-Networks