门控端到端记忆网络

使用可微分推理模型的机器阅读近期取得了显著进展。在此背景下，端到端可训练记忆网络（MemN2N）在基于简单自然语言的推理任务（如事实推理和基本演绎）上展现了良好的性能。然而，其他任务，即多事实问答、位置推理或对话相关任务，仍然具有挑战性，特别是由于构成此类模型家族的记忆模块与控制器模块之间需要更复杂的交互。本文中，我们受计算机视觉领域连接捷径原理的最新进展启发，引入了一种新颖的端到端记忆访问调节机制。具体而言，我们开发了一种门控端到端可训练记忆网络架构，称为 GMemN2N。从机器学习的角度来看，这种新能力以端到端的方式学习，无需使用任何额外的监督信号，据我们所知，这是同类方法中的首创。我们的实验表明，在不使用任何领域知识的情况下，在 20 bAbI 数据集中最具挑战性的任务上取得了显著改进。此外，我们在对话 bAbI 任务（包括基于真实人机对话的对话状态跟踪挑战赛（DSTC-2）数据集）上展示了性能提升。在这两个数据集上，我们的模型均设立了新的当前最优水平。