一种用于抽象式摘要的深度强化模型
计算与语言
2017-11-15 v3
摘要
基于注意力、RNN的编码器-解码器模型在抽象式摘要任务上对短输入和输出序列取得了良好性能。然而，对于更长的文档和摘要，这些模型常包含重复和不连贯的短语。我们引入了一种带有新颖内部注意力的神经网络模型，该注意力分别对输入和连续生成的输出进行关注，并提出了一种结合标准监督词预测与强化学习（RL）的新训练方法。仅用监督学习训练的模型常表现出“暴露偏差”——它们假设训练时每一步都提供真值。然而，当标准词预测与RL的全局序列预测训练相结合时，生成的摘要变得更具可读性。我们在CNN/Daily Mail和New York Times数据集上评估了该模型。我们的模型在CNN/Daily Mail数据集上获得了41.16的ROUGE-1分数，优于先前的最先进模型。人工评估也表明我们的模型产生了更高质量的摘要。
引用
@article{arxiv.1705.04304,
title = {A Deep Reinforced Model for Abstractive Summarization},
author = {Romain Paulus and Caiming Xiong and Richard Socher},
journal= {arXiv preprint arXiv:1705.04304},
year = {2017}
}