关注事实：知识增强的连贯抽象文本摘要
计算与语言
2020-06-30 v1
摘要
神经模型已能成功生成可读且流畅的抽象摘要。然而，这些模型存在两个关键缺陷：它们常常不尊重源文章中包含的或作为常识知识为人类所知的事实，并且在源文章较长时无法生成连贯的摘要。在这项工作中，我们提出了一种扩展Transformer编码器-解码器架构的新颖架构，以改进这些缺陷。首先，我们将来自Wikidata知识图的实体级知识整合进编码器-解码器架构中。从Wikidata注入结构化世界知识有助于我们的抽象摘要模型更具事实意识。其次，我们在提出的编码器-解码器架构中利用了Transformer-XL语言模型的思想。这有助于我们的模型即使在源文章较长时也能生成连贯的摘要。我们在CNN/Daily Mail摘要数据集上测试了我们的模型，并显示出相较基线Transformer模型在ROUGE分数上的提升。我们还包含了模型预测示例，其中我们的模型准确传达了事实，而基线Transformer模型未能做到。
引用
@article{arxiv.2006.15435,
title = {Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization},
author = {Beliz Gunel and Chenguang Zhu and Michael Zeng and Xuedong Huang},
journal= {arXiv preprint arXiv:2006.15435},
year = {2020}
}
备注
NeurIPS 2019, Knowledge Representation & Reasoning Meets Machine Learning (KR2ML workshop)