通过误序上下文的重复释放大语言模型多跳推理潜能
计算与语言
2025-04-30 v2
摘要
多跳推理需要基于给定上下文中支持文件进行多步骤推理，这是大语言模型（LLMs）面临的挑战。LLMs常常难以过滤掉上下文中无关文件，其性能对支持文件在上下文中的绝对位置敏感。在本文中，我们识别出另一个挑战：LLMs的性能还取决于支持文件呈现的顺序和相对位置，我们称之为误序上下文问题。为解决此问题，基于理论方法，我们提出一种简单且有效的方法称为上下文重复（CoRe），通过重复呈现上下文来进行提示。这确保了支持文件中某些连续推理片段以最佳顺序呈现，从而有效引导模型进行适当的推理。应用CoRe后，在多跳问答任务中F1分数提升了最高可达30个百分点，在人造任务中准确率提升了最高可达70个百分点。此外，CoRe有助于缓解LLMs中著名的“lost-in-the-middle”问题，并且可以与利用链式思维（CoT）推理的检索方法有效结合。
引用
@article{arxiv.2410.07103,
title = {Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context},
author = {Sangwon Yu and Ik-hwan Kim and Jongyoon Song and Saehyung Lee and Junsung Park and Sungroh Yoon},
journal= {arXiv preprint arXiv:2410.07103},
year = {2025}
}
备注
NAACL 2025 Findings