PEGASUS：基于抽取间隙句预训练的抽象摘要模型
计算与语言
2020-07-21 v3
摘要
近期在大型文本语料库上以自监督目标预训练 Transformer 的工作，在微调至包括文本摘要在内的下游 NLP 任务时展现出巨大成功。然而，专为抽象文本摘要定制的预训练目标尚未被探索。此外，缺乏跨多样领域的系统评估。本工作中，我们提出在大规模文本语料库上以一种新的自监督目标预训练基于 Transformer 的大型编码器-解码器模型。在 PEGASUS 中，重要句子被从输入文档中移除/掩码，并由剩余句子作为单一输出序列共同生成，类似于抽取式摘要。我们在涵盖新闻、科学、故事、指令、邮件、专利和立法法案的 12 个下游摘要任务上评估了我们最佳的 PEGASUS 模型。实验表明，按 ROUGE 分数衡量，其在全部 12 个下游数据集上达到了最先进性能。我们的模型在低资源摘要上也展现出惊人性能，仅在 1000 个样本的情况下就在 6 个数据集上超越先前的最先进结果。最后我们通过人工评估验证结果，并表明我们的模型摘要在多个数据集上达到人类水平表现。
引用
@article{arxiv.1912.08777,
title = {PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
author = {Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
journal= {arXiv preprint arXiv:1912.08777},
year = {2020}
}
备注
Added results from mixed+stochastic model, test-set overlapping analysis; Code link added; Accepted for ICML 2020. arXiv admin note: text overlap with arXiv:1605.06560, arXiv:1205.2395, arXiv:0902.4351, arXiv:1610.09932, arXiv:nucl-ex/0512029 by other authors