基于学习实体提示进行规划以改进抽象式摘要
计算与语言
2021-09-07 v2
摘要
我们引入了一种简单而灵活的机制，通过学习一个中间规划来 grounding（ grounding：基于……进行基础约束）抽象式摘要的生成。具体而言，我们在目标摘要前添加（或提示）实体链——即摘要中提及的实体的有序序列。随后训练基于 Transformer 的序列到序列模型，先生成实体链，再基于实体链与输入继续生成摘要。我们分别以预训练与微调方式实验了这一内容规划目标。在 CNN/DailyMail、XSum、SAMSum 和 BillSum 上的评估表明，带规划目标的 grounding 生成提升了所有数据集摘要中的实体具体性与规划性，并在 XSum 和 SAMSum 上取得了 Rouge 指标的 SOTA（state-of-the-art，最优）性能。此外，我们实证表明，基于实体链的规划提供了一种控制抽象式摘要中幻觉的机制。通过使用丢弃了幻觉实体的修改后内容规划提示解码器，在自动与人工评估中，我们在忠实性方面均优于 SOTA 方法。
引用
@article{arxiv.2104.07606,
title = {Planning with Learned Entity Prompts for Abstractive Summarization},
author = {Shashi Narayan and Yao Zhao and Joshua Maynez and Gonçalo Simoes and Vitaly Nikolaev and Ryan McDonald},
journal= {arXiv preprint arXiv:2104.07606},
year = {2021}
}
备注
Accepted to appear at TACL (19 pages, pre-MIT Press publication version)