FactPEGASUS：面向抽象式摘要的事实感知预训练与微调
计算与语言
2022-05-17 v1 人工智能
机器学习
摘要
我们提出 FactPEGASUS，一种在预训练和微调阶段解决事实性问题的抽象式摘要模型：（1）我们增强 PEGASUS（Zhang 等人，2020）预训练目标中的句子选择策略，以生成既重要又符合事实的伪摘要；（2）我们为微调引入三个互补组件。校正器（corrector）移除参考摘要中存在的幻觉，对比器（contrastor）利用对比学习更好地区分非事实摘要与事实摘要，连接器（connector）弥合预训练与微调之间的差距以实现更好的知识迁移。在三个下游任务上的实验表明，FactPEGASUS 在多种自动评估指标和人工评估中均显著提升了事实性。我们的深入分析表明，FactPEGASUS 在零样本和少样本设置下比使用原始预训练目标更具事实性，比强基线模型更稳健地保持事实行为，并且并非完全依赖变得更具有抽取性来提升事实性。我们的代码和数据已公开于：https://github.com/meetdavidwan/factpegasus
引用
@article{arxiv.2205.07830,
title = {FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization},
author = {David Wan and Mohit Bansal},
journal= {arXiv preprint arXiv:2205.07830},
year = {2022}
}
备注
NAACL 2022 (19 pages)