面向摘要式摘要的句子重写之摘要级训练
计算与语言
2019-09-27 v3 信息检索
机器学习
摘要
作为结合抽取式与摘要式摘要的一种尝试，句子重写模型采用先从文档抽取重要句子、再对所选句子进行改写以生成摘要的策略。然而，该框架下的现有模型大多依赖句子级奖励或次优标签，导致训练目标与评测指标之间的不匹配。本文中，我们提出一种新颖的训练信号，通过强化学习直接最大化摘要级 ROUGE 分数。此外，我们将 BERT 融入模型，充分利用其在自然语言理解上的能力。在大量实验中，我们表明所提模型与训练过程的组合在 CNN/Daily Mail 和 New York Times 数据集上均取得了新的 SOTA 性能。我们还证明其在 DUC-2002 测试集上泛化更好。
引用
@article{arxiv.1909.08752,
title = {Summary Level Training of Sentence Rewriting for Abstractive Summarization},
author = {Sanghwan Bae and Taeuk Kim and Jihoon Kim and Sang-goo Lee},
journal= {arXiv preprint arXiv:1909.08752},
year = {2019}
}
备注
EMNLP 2019 Workshop on New Frontiers in Summarization