基于预训练的文本摘要自然语言生成
计算与语言
2019-10-16 v2 人工智能
摘要
本文提出一种新颖的基于预训练的编码器-解码器框架，该框架能够以两阶段方式基于输入序列生成输出序列。对于模型的编码器，我们使用 BERT 将输入序列编码为上下文表示。对于解码器，我们的模型分为两个阶段：在第一阶段，我们使用基于 Transformer 的解码器生成草稿输出序列；在第二阶段，我们将草稿序列的每个词进行掩码并输入 BERT，然后结合输入序列与 BERT 生成的草稿表示，使用基于 Transformer 的解码器预测每个掩码位置的精炼词。据我们所知，我们的方法是首个将 BERT 应用于文本生成任务的方法。作为该方向的第一步，我们在文本摘要任务上评估了所提方法。实验结果表明，我们的模型在 CNN/Daily Mail 和 New York Times 数据集上均达到了新的 SOTA。
引用
@article{arxiv.1902.09243,
title = {Pretraining-Based Natural Language Generation for Text Summarization},
author = {Haoyu Zhang and Jianjun Xu and Ji Wang},
journal= {arXiv preprint arXiv:1902.09243},
year = {2019}
}
备注
7 pages