用于长文档上复杂问题回答的迭代式层次注意力模型
计算与语言
2021-10-25 v2 人工智能
摘要
我们提出一种新模型DocHopper，它迭代地关注长且层次化结构文档的不同部分以回答复杂问题。类似于多跳问答（QA）系统，在每一步，DocHopper使用一个查询来关注文档中的信息，并将该“检索”到的信息与结合以产生下一查询。然而，与大多数先前的多跳QA系统不同，DocHopper能够“检索”文档的短段落或长章节，从而模拟通过长文档“导航”以回答问题的多步过程。为实现这一新颖行为，DocHopper并非通过将文本拼接到的文本上来结合文档信息与，而是将的紧凑神经表示与文档层次化部分（可能相当大）的紧凑神经表示相结合。我们在四个不同的QA任务上用DocHopper进行实验，这些任务均需阅读长而复杂的文档以回答多跳问题，结果表明DocHopper在三个数据集上取得了最先进的（state-of-the-art）结果。此外，DocHopper在推理时高效，比基线快3–10倍。
引用
@article{arxiv.2106.00200,
title = {Iterative Hierarchical Attention for Answering Complex Questions over Long Documents},
author = {Haitian Sun and William W. Cohen and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2106.00200},
year = {2021}
}