CO2Sum：面向事实一致性抽象摘要的对比学习
计算与语言
2022-01-11 v2
摘要
生成事实一致的摘要在抽象摘要中是一项具有挑战性的任务。以往工作主要编码事实信息或在解码后进行修正/排序。本文中，我们从对比学习的视角提供了一种事实一致的解决方案，它是以往工作的自然延伸。我们提出 CO2Sum（Contrastive for Consistency），一种可轻松应用于序列到序列模型以实现事实一致抽象摘要的对比学习方案，证明模型无需修改架构即可具备事实感知能力。CO2Sum 在编码器上应用对比学习，可帮助模型感知输入文章所含事实信息，或在解码器上执行对比学习，使模型生成事实正确的输出摘要。此外，这两种方案正交，可结合以进一步提升忠实度。在公开基准上的综合实验表明，CO2Sum 在大型预训练语言模型上提升了忠实度，并与其他强事实一致摘要基线相比取得了具竞争力的结果。
引用
@article{arxiv.2112.01147,
title = {CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization},
author = {Wei Liu and Huanqin Wu and Wenjing Mu and Zhen Li and Tao Chen and Dan Nie},
journal= {arXiv preprint arXiv:2112.01147},
year = {2022}
}
备注
9 pages