论抽象式摘要中的忠实性与事实性

众所周知，在神经文本生成模型中，标准的似然训练与近似解码目标会导致在语言建模和故事生成等开放式任务中产生较不类人的响应。在本文中，我们分析了这些模型在抽象式文档摘要中的局限性，发现这些模型极易产生与输入文档不忠实的内容幻觉。我们对多个神经抽象式摘要系统进行了大规模人工评估，以更好地理解它们所产生的幻觉类型。我们的人工标注者在所有模型生成的摘要中都发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅是更好的摘要器——在原始指标（即 ROUGE）方面，而且在生成由人工评估的忠实且事实性的摘要方面也表现更优。此外，我们表明文本蕴含度量比标准指标更能与忠实性相关联，这有可能为自动评估指标以及训练和解码准则指明方向。