开放域对话生成的知识即插即用测试平台

基于知识的开放域对话生成旨在构建利用挖掘到的支持知识与人类进行闲聊的系统。多种类型和来源的知识此前已被证明可作为有用的支持知识。即使在大语言模型时代，基于从额外最新来源检索的知识来生成回复仍然是一种具有实际重要意义的方法。虽然先前使用单一来源知识的工作表明知识选择与回复生成的性能之间存在明显的正相关性，但目前尚无用于评估支持知识检索的多来源数据集。此外，先前的工作假设测试时可用的知识来源与训练期间相同。这种不切实际的假设不必要地限制了模型的能力，因为在模型训练后可能会出现新的知识来源。在本文中，我们提出了一个名为多来源 Wizard of Wikipedia (Ms.WoW) 的高质量基准，用于评估多来源对话知识选择和回复生成。与现有数据集不同，它包含干净的支持知识，在话语级别进行 grounding，并划分为多个知识来源。我们进一步提出了一个新的挑战，即对话知识即插即用，旨在以零样本方式测试已训练的对话模型使用来自先前未见过的来源的新支持知识的能力。