利用基于压缩的后编辑提升摘要的事实一致性
计算与语言
2022-11-14 v1
摘要
最先进的摘要模型仍难以与输入文本保持事实一致。一种与模型无关的解决方案是对生成的摘要进行后编辑。然而,现有方法通常若缺乏合适的输入实体替换则无法去除实体错误,或可能插入错误内容。在我们的工作中,我们专注于去除外在实体错误(即源文本中不存在的实体),以在保留摘要核心信息与形式的同时提升一致性。我们提出使用句子压缩数据来训练后编辑模型,使其接收带有特殊标记标出的外在实体错误的摘要,并输出去除这些错误后的压缩且格式良好的摘要。我们表明,该模型在保持 ROUGE 的同时提升了事实一致性,在 XSum 上将实体精确率最高提升 30%,且该模型可应用于另一个后编辑器之上,将实体精确率总计最高提升 38%。我们进行了广泛的后编辑方法对比,展示了事实一致性、信息量与语法性之间的权衡,并分析了后编辑器展现最大改进的设置。
引用
@article{arxiv.2211.06196,
title = {Improving Factual Consistency in Summarization with Compression-Based Post-Editing},
author = {Alexander R. Fabbri and Prafulla Kumar Choubey and Jesse Vig and Chien-Sheng Wu and Caiming Xiong},
journal= {arXiv preprint arXiv:2211.06196},
year = {2022}
}
备注
EMNLP 2022