MEMO:一种用于灵活组合情景记忆的深度网络
机器学习
2020-01-30 v1 人工智能
摘要
近期开发具有外部记忆的神经网络架构的研究常使用基准 bAbI 问答数据集,其提供了一系列需要推理的具有挑战性的任务。在此,我们采用记忆基推理神经科学文献中的经典联想推断任务,以更细致地探查现有记忆增强架构的推理能力。该任务被认为抓住了推理的本质——即领会分布于多个事实或记忆中的元素之间的远距离关系。令人惊讶的是,我们发现当前架构难以对远距离关联进行推理。在涉及寻找路径中节点间最短路径的更复杂任务上也获得了类似结果。因此我们开发了 MEMO,一种具备远距离推理能力的架构。这是通过增加两个新颖组件实现的。首先,它引入了存储于外部记忆中的记忆(事实)与构成这些事实的条目在外部记忆中的分离。其次,它利用了自适应检索机制,允许在生成答案前进行可变次数的“记忆跳跃”。MEMO 能够求解我们的新颖推理任务,并在 bAbI 中匹配最先进的结果。
引用
@article{arxiv.2001.10913,
title = {MEMO: A Deep Network for Flexible Combination of Episodic Memories},
author = {Andrea Banino and Adrià Puigdomènech Badia and Raphael Köster and Martin J. Chadwick and Vinicius Zambaldi and Demis Hassabis and Caswell Barry and Matthew Botvinick and Dharshan Kumaran and Charles Blundell},
journal= {arXiv preprint arXiv:2001.10913},
year = {2020}
}
备注
9 pages, 2 figures, 3 tables, to be published as a conference paper at ICLR 2020