CLIFF：用于提升抽象式摘要忠实性与事实一致性的对比学习
计算与语言
2021-09-21 v1
摘要
我们研究生成与给定文章忠实且事实一致的抽象式摘要。提出了一种新颖的对比学习形式，其利用参考摘要作为正训练数据，并利用自动生成的错误摘要作为负训练数据，来训练更能区分二者的摘要系统。我们进一步设计了四种负样本构建策略，以模拟在我们新近对摘要错误的人工标注中所发现的两个最先进模型 BART 和 PEGASUS 常犯的错误。在 XSum 和 CNN/Daily Mail 上的实验表明，我们的对比学习框架在数据集和模型间具有鲁棒性。根据基于问答的事实性评估，它相较于带后错误纠正、基于蕴含的重排序以及非似然训练等强基线，持续生成更具事实性的摘要。人类评判者印证了该观察，并发现我们的模型摘要纠正了更多错误。
引用
@article{arxiv.2109.09209,
title = {CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization},
author = {Shuyang Cao and Lu Wang},
journal= {arXiv preprint arXiv:2109.09209},
year = {2021}
}
备注
EMNLP 2021