用于条件序列处理的聚焦分层 RNN

带有注意力机制的循环神经网络（RNN）在许多序列处理任务上取得了最先进的结果。这些模型大多使用一种简单的带注意力的编码器，其纵览整个序列并独立地为每个词元分配权重。我们提出一种用于序列建模任务的聚焦 RNN 编码器的机制，使其能够根据需要关注输入的关键部分。我们使用一个多层条件序列编码器来表述该方法：每次读入一个词元，并就其与所给上下文或问题是否相关作出离散决策。该离散门控机制以上下文嵌入和当前隐藏状态为输入，并控制信息向上层的流动。我们使用策略梯度方法对其进行训练。我们在具有不同属性的多种任务上评估该方法。首先，我们在合成任务上评估该方法，以考察模型的泛化能力并在更可控的设置下探究门的行为。随后我们在大规模问答任务上评估该方法，包括具有挑战性的 MS MARCO 和 SearchQA 任务。我们的模型在两项任务上均较先前工作及我们的基线表现出一致提升，并且相较基线在合成任务上泛化能力显著更强。