用于对话的局部与全局上下文

对话中的上下文是对话历史，对于多轮对话至关重要。从对话历史中的相关上下文进行学习以实现基于事实的对话是一个具有挑战性的问题。局部上下文是最邻近的，对后续响应更敏感，而全局上下文与超越相邻话语的整个对话相关。目前，用于对话的预训练 Transformer 模型在捕捉局部和全局上下文之间的相关性和联系方面面临挑战。我们引入了一种用于开放域通用对话的局部与全局对话模型（LGCM）。它是一个局部-全局分层 Transformer 模型，擅长准确识别和吸收生成响应所需的相关上下文。它采用局部编码器在单个话语层面掌握局部上下文，并采用全局编码器在对话层面理解更广泛的上下文。这些局部和全局上下文编码的无缝融合确保了对对话的全面理解。在流行数据集上的实验表明，LGCM 在自动评估指标的性能上以显著优势优于现有的对话模型。