RecaLLM：通过显式的情境检索解决思考丢失现象
计算与语言
2026-04-13 v1 人工智能
信息检索
机器学习
摘要
我们提出 RecaLLM，一组在推理语言模型上进行后训练，以有效利用长情境信息的模型。在情境检索中，从情境中识别相关证据，与推理密切相关：检索支持推理，而推理又常常决定必须检索的内容。然而，二者的相互作用仍在很大程度上未被探索。在几个开源 LLM 的初步实验中，我们观察到情境检索性能即使在短暂的推理跨度后也会显著下降，揭示了我们称为 lost-in-thought 的关键瓶颈：提升性能的推理步骤也会使后续情境检索更加困难。为此，我们提出 RecaLLM 交替进行推理和显式情境检索，以解决中间子问题所需的情境信息。我们引入一种低开销的受约束解码机制，使模型能够逐字复制证据片段，从而提高后续生成的可靠性。在训练涵盖多样词汇和语义检索任务后，RecaLLM 在两个长情境基准测试 RULER 和 HELMET 上取得优异成绩，显著优于基线方法。值得注意的是，我们观察到在情境窗口最高可达 128K token 时均能获得一致的提升，而训练样本最长仅为 10K token，远短于现有长情境方法使用的训练数据长度，这为改进长情境性能而无需昂贵的长情境训练数据提供了有前景的道路。
引用
@article{arxiv.2604.09494,
title = {RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval},
author = {Kyle Whitecross and Negin Rahimi},
journal= {arXiv preprint arXiv:2604.09494},
year = {2026}
}
备注
Code, data, and models available at https://github.com/kswhitecross/RecaLLM