Lost in the Middle, and In-Between: 增强语言模型在多跳问答中处理长上下文能力
计算与语言
2024-12-16 v1
摘要
先前的研究发现，最近的长上下文语言模型在使用其输入中中间部分的信息方面不如使用边缘端的信息，这在我们希望模型能够平等地利用不同输入部分时会造成偏差。迄今为止，该问题主要只在单一关键信息的情境下被考虑，我们因此质疑当多个必要信息在输入中分布时会发生什么。本文展示了“中间被遗忘”问题在多跳问答情境中的影响——即需要对不相连文档进行多次推理“跳”——并表明性能不仅会随信息距离边缘端的距离而下降，还会随着信息之间的距离而下降。此外，我们实验了通过知识图谱三元组提取和摘要来减少冗余文档内容，并通过链式思维提示来促进模型进行更全面推理等缓解该问题的方法。
引用
@article{arxiv.2412.10079,
title = {Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA},
author = {George Arthur Baker and Ankush Raut and Sagi Shaier and Lawrence E Hunter and Katharina von der Wense},
journal= {arXiv preprint arXiv:2412.10079},
year = {2024}
}