面向提升摘要忠实性的抽象式摘要研究
计算与语言
2022-10-06 v1
摘要
尽管基于预训练语言模型的神经抽象式摘要取得了成功，一个尚未解决的问题是生成的摘要并非总是忠实于输入文档。不忠实问题可能由两个原因导致：（1）摘要模型未能理解或把握输入文本的要点；（2）模型过度依赖语言模型生成流畅但不足的词。在本工作中，我们提出一个忠实性增强摘要模型（FES），旨在解决这两个问题并提升抽象式摘要的忠实性。针对第一个问题，我们提出使用问答（QA）来检验编码器是否充分掌握输入文档，并能回答关于输入中关键信息的问题。QA 对恰当输入词的注意力也可用于规范解码器应如何关注源文本。针对第二个问题，我们引入定义在语言模型与摘要模型差异上的最大间隔损失（max-margin loss），旨在防止语言模型的过度自信。在两个基准摘要数据集 CNN/DM 和 XSum 上的大量实验表明，我们的模型显著优于强基线。事实一致性评估也显示我们的模型生成的摘要比基线更为忠实。
引用
@article{arxiv.2210.01877,
title = {Towards Improving Faithfulness in Abstractive Summarization},
author = {Xiuying Chen and Mingzhe Li and Xin Gao and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2210.01877},
year = {2022}
}
备注
NeurIPS 2022