针对多针在草堆中的问题进行推理
计算与语言
2025-04-08 v1 人工智能
摘要
针在草堆中的任务(NIAH)广泛用于评估大型语言模型(LLM)的长上下文问答能力。然而，其依赖于简单检索，限制了其有效性。为解决这一限制，最近的研究引入了多针在草堆中的推理任务(MNIAH-R)，将支持文档(多个针)融入分散的上下文(草堆)中，以进行多跳推理任务。尽管如此，现有方法仍未解决模型提供内部知识直接答案的问题，也未解释或缓解随上下文长度增加而准确率下降的问题。本文通过过滤直接问题来解决记忆性答复问题，我们揭示性能下降主要由输入长度增加导致思考过程长度缩短所致。基于这一洞察，我们将思考过程分解为检索和推理阶段，引入多轮扩展的反思机制。我们还训练了一个使用所生成的迭代思考过程的模型，以缓解性能下降。进一步地，我们展示了该检索-反思能力在数学推理场景中的应用，提升了GPT-4o在AIME2024上的表现。
引用
@article{arxiv.2504.04150,
title = {Reasoning on Multiple Needles In A Haystack},
author = {Yidong Wang},
journal= {arXiv preprint arXiv:2504.04150},
year = {2025}
}