大语言模型搜索增强推理中的知识集成衰减
计算与语言
2026-02-11 v1
摘要
现代大型语言模型（LLM）通过采用搜索增强推理将外部知识融入长链思维，展示出在复杂任务上的卓越能力。然而，我们识别出这一范式中的一个关键且尚未充分探讨的瓶颈，称为知识集成衰减（KID）。具体而言，我们观察到随着搜索前生成推理长度的增加，模型越来越难将检索到的证据整合到后续推理步骤中，即使相关信息可用也限制了性能。为此，我们提出了自锚知识编码（SAKE），一种旨在稳定知识利用的训练-free 推理策略。通过在推理过程的开头和末尾锚定检索到的知识，SAKE可防止知识被先前上下文所掩盖，从而保持其语义完整性。在多跳问答和复杂推理基准测试中进行大量实验表明，SAKE显著缓解了KID并提升了性能，为智能体LLM中的知识集成提供了一种轻量且有效的解决方案。
引用
@article{arxiv.2602.09517,
title = {Knowledge Integration Decay in Search-Augmented Reasoning of Large Language Models},
author = {Sangwon Yu and Ik-hwan Kim and Donghun Kang and Bongkyu Hwang and Junhwa Choi and Suk-hoon Jung and Seungki Hong and Taehee Lee and Sungroh Yoon},
journal= {arXiv preprint arXiv:2602.09517},
year = {2026}
}