使用循环实体网络跟踪世界状态
计算与语言
2017-05-11 v3
摘要
我们引入了一个新模型，循环实体网络（EntNet）。它配备了一个动态长期记忆，使其能够在接收新数据时维护和更新世界状态的表示。对于语言理解任务，它可以在阅读文本时即时推理，而不仅仅是在需要回答问题或做出响应时才进行推理，这与 Memory Network（Sukhbaatar et al., 2015）不同。与 Neural Turing Machine 或 Differentiable Neural Computer（Graves et al., 2014; 2016）类似，它维护固定大小的记忆，并可以学习执行基于位置和内容的读写操作。然而，与这些模型不同的是，它具有简单的并行架构，其中多个记忆位置可以同时更新。EntNet 在 bAbI 任务上达到了新的 SOTA，并且是第一个在 10k 训练样本设置下解决所有任务的方法。我们还证明了它可以解决一个需要大量支持事实的推理任务，而其他方法无法解决该任务，并且能够泛化到其训练范围之外。它也可以实际应用于如 Children's Book Test 这样的大规模数据集，并在单次阅读故事后获得了有竞争力的性能。
引用
@article{arxiv.1612.03969,
title = {Tracking the World State with Recurrent Entity Networks},
author = {Mikael Henaff and Jason Weston and Arthur Szlam and Antoine Bordes and Yann LeCun},
journal= {arXiv preprint arXiv:1612.03969},
year = {2017}
}