基于点互信息的文档 grounded 对话忠实生成度量与解码策略

在使用基于深度学习的生成模型进行文档 grounded 对话时，一个主要担忧是可能生成相对于底层文档不\textit{忠实}的回复。现有的用于评估回复相对于 grounding 文档忠实度的自动化度量衡量生成回复与文档内容之间的相似程度。然而，这些自动化度量与人类判断远未良好对齐。因此，为改进忠实度度量，我们提出一种利用生成回复与源文档之间以对话为条件的（条件）点互信息（PMI）的新度量。PMI 量化文档对生成回复的影响程度——PMI 越高表明回复越忠实。我们基于该思想创建了一种新的解码技术，将 PMI 纳入回复生成过程以预测更忠实的回复。我们在 BEGIN 基准上的实验表明我们的度量与人类评估的相关性有所改善。我们还表明，在一组公开可用的文档 grounded 对话数据集上，与标准解码技术相比，我们的解码技术在生成更忠实回复方面是有效的。