用于文档 grounded 对话的带审议解码器的增量 Transformer

文档 grounded 对话是一项在针对给定文档内容进行聊天时生成对话回复的任务。显然，文档知识在文档 grounded 对话中起着关键作用，而现有对话模型未能足够有效地利用此类知识。在本文中，我们提出一种基于 Transformer 的新型架构，用于多轮文档 grounded 对话。具体而言，我们设计了一个增量 Transformer 来编码多轮话语及相关文档中的知识。受人类认知过程启发，我们设计了一个两遍解码器（审议解码器）以提升上下文连贯性与知识正确性。我们在真实世界文档 grounded 数据集上的实证研究表明，由我们的模型生成的回复在上下文连贯性与知识相关性上均显著优于具有竞争力的基线。