用于可解释多跳推理的自组装模块化网络

多跳问答要求模型将长上下文中分散的多条证据联系起来以回答问题。最近提出的 HotpotQA (Yang et al., 2018) 数据集由体现四种不同多跳推理范式（两种桥接实体设置、检查多个属性以及比较两个实体）的问题组成，使得单一神经网络难以处理全部四种。在本工作中，我们提出一种可解释的、基于控制器的自组装神经模块化网络 (Hu et al., 2017, 2018) 用于多跳推理，其中我们设计了四个新颖模块（Find、Relocate、Compare、NoOp）来执行不同类型的语言推理。基于问题，我们的布局控制器 RNN 动态推断一系列推理模块以构建整个网络。在实验上，我们表明我们的动态多跳模块化网络相比静态单跳基线取得了显著改进（在常规和对抗评估中均如此）。我们进一步通过三项分析展示了我们模型的可解释性。首先，控制器可以将多跳问题软分解为多个单跳子问题，以促进主网络的组合推理行为。其次，控制器可以预测符合人类专家所设计布局的布局。最后，中间模块可以通过处理来自控制器的子问题来推断连接两个远距离支撑事实的实体。