SUMBot：开放域对话系统中的上下文摘要

在本文中，我们研究在开放域对话系统中将相关信息作为上下文纳入的问题。大多数模型难以从对话中识别并融入重要知识，只是将整个轮次作为上下文，这用不必要的信息增加了输入模型的大小。此外，由于大型预训练模型几百个 token 的输入大小限制，历史的部分区域未被包含，对话中有信息量的部分可能被省略。为超越此问题，我们引入一种简单方法，用摘要替代部分上下文而非整个历史，这增强了模型追踪所有先前相关信息的能力。我们展示摘要的纳入可改进回答生成任务，并讨论一些例子以进一步理解系统的弱点。