由潜在层次文档结构引导的抽取式摘要生成
计算与语言
2022-11-18 v1
摘要
序列式抽象神经摘要模型通常未利用输入文章中的底层结构或输入句子之间的依赖关系。这种结构对于整合和巩固文本不同部分的信息至关重要。为解决这一不足，我们提出了一种层次感知图神经网络（HierGNN），通过三个主要步骤捕获此类依赖关系：1）通过稀疏矩阵树计算学习的潜在结构树来学习层次化文档结构；2）使用一种新颖的消息传递节点传播机制在该结构上传播句子信息，以识别显著信息；3）使用图级注意力使解码器聚焦于显著信息。实验证实，HierGNN 改进了诸如 BART 等强序列模型，在 CNN/DM 和 XSum 上的平均 ROUGE-1/2/L 分别提升了 0.55 和 0.75。进一步的人工评估表明，我们的模型生成的摘要比融入 HierGNN 的基线模型更具相关性且冗余更少。我们还发现，HierGNN 更多地通过融合多个源句子来合成摘要，而非压缩单个源句子，并且能更有效地处理长输入。
引用
@article{arxiv.2211.09458,
title = {Abstractive Summarization Guided by Latent Hierarchical Document Structure},
author = {Yifu Qiu and Shay B. Cohen},
journal= {arXiv preprint arXiv:2211.09458},
year = {2022}
}
备注
EMNLP 2022, 15 pages