大语言模型通过多视角推理提升长上下文能力的树状智能体
人工智能
2025-10-22 v2
摘要
大语言模型(LLM)在处理长上下文任务时面临持续的挑战，最显著的是"失踪于中"问题，即位于长输入中间的信息被低下利用。一些现有方法通过减少输入有丢弃关键信息的风险，而另一些方法则通过延长上下文窗口常导致注意力分散。为解决这些限制，我们提出了树状智能体(Tree of Agents, TOA)，一种多智能体推理框架，将输入分割成由独立智能体处理的块。每个智能体生成其局部认知，然后智能体沿着树状路径动态交换信息进行协作推理。TOA使智能体能够针对多视角理解探索不同的推理顺序，有效缓解位置偏见并减少幻觉。为提高处理效率，我们采用前缀哈希缓存和自适应修剪策略，在可 comparable API开销下实现显著的性能提升。实验表明，TOA使用紧凑的LLaMA3.1-8B显著优于多个基线方法，在各种长上下文任务上表现出 comparable于最新的大型商业模型(如Gemini1.5-pro)的性能。代码可在https://github.com/Aireduce952/Tree-of-Agents获取。
引用
@article{arxiv.2509.06436,
title = {Tree of Agents: Improving Long-Context Capabilities of Large Language Models through Multi-Perspective Reasoning},
author = {Song Yu and Xiaofei Xu and Ke Deng and Li Li and Lin Tian},
journal= {arXiv preprint arXiv:2509.06436},
year = {2025}
}
备注
19 pages, 5 figures