不确定性引导的全局记忆改进多跳问答
计算与语言
2023-12-01 v1
摘要
Transformer已成为许多自然语言处理任务的事实标准，尤其是多跳问答（MHQA）。该任务包括处理长文档并对其进行多部分推理。MHQA方法的格局可分为两大类。第一类聚焦于提取支撑证据，从而将QA模型的上下文限制于预测事实。相反，第二类依赖长输入编码模型的注意力机制来促进多跳推理。然而，基于注意力的词元表示缺乏连接推理步骤的显式全局上下文信息。为解决这些问题，我们提出GEMFormer，一种两阶段方法：首先从整个文档收集相关信息至记忆，再将其与局部上下文结合以完成任务。实验结果表明，使用包含最确定全局元素的记忆增强输入微调预训练模型，相比基线在三个MHQA数据集上提升了模型性能。我们还发现，全局显式记忆包含正确答案所需的支撑事实信息。
引用
@article{arxiv.2311.18151,
title = {Uncertainty Guided Global Memory Improves Multi-Hop Question Answering},
author = {Alsu Sagirova and Mikhail Burtsev},
journal= {arXiv preprint arXiv:2311.18151},
year = {2023}
}
备注
12 pages, 7 figures. EMNLP 2023. Our code is available at https://github.com/Aloriosa/GEMFormer