使用不一致损失的抽取式与生成式摘要统一模型
计算与语言
2018-07-06 v2
摘要
我们提出一种结合抽取式与生成式摘要优势的统一模型。一方面，简单的抽取式模型可获得具有较高 ROUGE 分数的句子级注意力，但可读性较差。另一方面，更复杂的生成式模型可获得词级动态注意力以生成更具可读性的段落。在我们的模型中，句子级注意力用于调节词级注意力，使得较少被关注的句子中的词不太可能被生成。此外，引入一种新的不一致损失函数，以惩罚两级注意力之间的不一致性。通过对我们的模型以不一致损失及抽取式与生成式模型的原始损失进行端到端训练，我们在 CNN/Daily Mail 数据集上取得了最先进的 ROUGE 分数，同时在严谨的人工评估中成为最具信息量和可读性的摘要。
引用
@article{arxiv.1805.06266,
title = {A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss},
author = {Wan-Ting Hsu and Chieh-Kai Lin and Ming-Ying Lee and Kerui Min and Jing Tang and Min Sun},
journal= {arXiv preprint arXiv:1805.06266},
year = {2018}
}
备注
9 pages, ACL 2018 oral. Project page: https://hsuwanting.github.io/unified_summ/. Code: https://github.com/HsuWanTing/unified-summarization