理解与改进开放域对话中基于范例的生成

用于开放域对话的基于范例的生成模型利用生成模型与检索模型的优势，基于检索器提供的范例产生回复。然而，它们在生成回复时常常忽略检索到的范例，或产生对检索范例过拟合的回复。在本文中，我们认为这些缺陷源于开放域对话的一对多问题。当检索到的范例与给定上下文相关但与标准回复显著不同时，基于范例的生成模型被训练为忽略该范例，因为范例无助于生成标准回复。另一方面，当检索到的范例与标准回复在词汇上相似时，生成模型被训练为高度依赖该范例。因此，我们提出一种训练方法，选取与标准回复语义相关但在词汇上与标准回复距离较远的范例，以缓解上述劣势。在训练阶段，我们提出的训练方法首先使用标准回复而非对话上下文作为查询，以选取与标准回复语义相关的范例。然后，它剔除在词汇上类似标准回复的范例，以减轻生成模型对该范例的依赖。由于这些剩余范例是基于标准回复搜索的，它们可能与给定上下文无关。因此，我们提出的训练方法进一步利用给定上下文与范例之间的相关性分数来惩罚无关范例。大量实验表明，我们提出的训练方法缓解了现有基于范例的生成模型的缺陷，并在恰当性与信息性方面显著提升性能。