基于结构注意力机制的神经生成式摘要
计算与语言
2020-10-13 v2 机器学习
摘要
基于注意力机制和 RNN 的编码器-解码器架构在新闻文章的生成式摘要任务中取得了令人瞩目的性能。然而，这些方法未能考虑文档句子内部的长程依赖关系。在多文档摘要任务中，例如对 Yahoo! Answers 和 Quora 等社区问答（CQA）网站中帖子所呈现的流行观点进行摘要时，这一问题变得更加严重。这些帖子中包含的答案往往相互重叠或相互矛盾。在本研究中，我们提出了一种基于结构注意力的分层编码器，用于建模这种句间和文档间的依赖关系。我们将流行的指针生成器架构及其部分衍生架构作为基线模型，并表明它们在多文档环境下无法生成高质量的摘要。我们进一步表明，我们提出的模型在单文档和多文档摘要设置下均取得了相对于基线模型的显著提升——在前一种设置下，它在 CNN 和 CQA 数据集上分别比最佳基线模型高出 1.31 和 7.8 个 ROUGE-1 分数；在后一种设置下，它在 CQA 数据集上的性能进一步提升了 1.6 个 ROUGE-1 分数。
引用
@article{arxiv.2004.09739,
title = {Neural Abstractive Summarization with Structural Attention},
author = {Tanya Chowdhury and Sachin Kumar and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2004.09739},
year = {2020}
}
备注
7 pages, 4 tables, 2 figures, IJCAI 2020