利用压缩图选择网络在长文档问答中捕捉全局结构信息
计算与语言
2022-10-20 v2
摘要
长文档问答是一项具有挑战性的任务,因为它要求对长文本进行复杂推理。以往的工作通常将长文档视为非结构化的扁平文本,或仅考虑长文档中的局部结构。然而,这些方法通常忽略了长文档的全局结构,而这对长距离理解至关重要。为解决这一问题,我们提出了压缩图选择网络(CGSN),以压缩和迭代的方式捕捉全局结构。所提出的模型主要聚焦于长文档问答的证据选择阶段。具体而言,它由三个模块组成:局部图网络、全局图网络和证据记忆网络。首先,局部图网络在词元、句子、段落和片段层级构建分块片段的图结构,以捕捉文本的短期依赖。其次,全局图网络从局部图中选择性地接收各层级信息,将其压缩为全局图节点,并对全局图节点应用图注意力,以迭代方式在整个文本上构建长距离推理。第三,设计证据记忆网络以通过保存先前步骤的选择结果来缓解证据选择中的冗余问题。大量实验表明,所提出的模型在两个数据集上优于以往方法。
引用
@article{arxiv.2210.05499,
title = {Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network},
author = {Yuxiang Nie and Heyan Huang and Wei Wei and Xian-Ling Mao},
journal= {arXiv preprint arXiv:2210.05499},
year = {2022}
}
备注
Accepted to the main conference of EMNLP 2022