链式智能体：大语言模型在长上下文任务中的协作

有效处理长上下文已成为大语言模型（LLMs）的关键挑战。两种常见策略：1) 减少输入长度，如通过检索增强生成（RAG）检索相关文本块；2) 扩展 LLM 的上下文窗口限制。但两者都有局限：输入缩减无法保证覆盖所需信息，窗口扩展在解决任务时难以聚焦 pertinent 信息。为缓解这些限制，我们提出链式智能体（CoA）框架，利用自然语言实现多智能体协作，使其在长上下文任务中进行信息聚合和上下文推理。CoA 由多个工作智能体顺序交互处理文本的不同分段区域，随后由管理智能体将这些贡献综合为连贯的最终输出。CoA 通过交替读取和推理处理整个输入，并通过分配每个智能体短上下文来缓解长上下文注意力问题。在广泛的长上下文任务上进行全面评估，包括问答、摘要和代码生成，结果显示相较于 RAG、全上下文和多智能体 LLM 等强大基线，CoA 在多个任务上提升显著，提升幅度可达约 10%。