链式智能体中的 Chow-Liu 排序用于长上下文推理
计算与语言
2026-03-11 v1
摘要
顺序多智能体推理框架如 Chain-of-Agents (CoA) 通过将输入分解为块并使用基于 LLM 的 worker 智能体依次处理来处理长上下文查询，这些智能体从受限共享记忆中读取并更新信息。从概率论角度看，CoA 旨在逼近能够对整个长上下文进行联合推理的模型对应的条件分布。CoA 通过一种隐状态分解实现这一点，仅将之前处理证据的受限摘要在智能体之间传递。 resulting 的受限记忆近似引入了有损信息瓶颈，使得最终证据状态本质上取决于块被处理的顺序。本文研究了长上下文推理中的块排序问题。我们采用著名的 Chow-Liu 树来学习依赖结构，以优先处理高度相关的块。我们在三个长上下文基准测试中对结果进行实证验证，表明对结果树进行的广度优先遍历可产生一种块排序方案，该方案在信息损失方面优于默认的文档块排序和语义评分排序，在答案相关性和精确匹配准确度方面均表现出色。
关键词
引用
@article{arxiv.2603.09835,
title = {Chow-Liu Ordering for Long-Context Reasoning in Chain-of-Agents},
author = {Naman Gupta and Vaibhav Singh and Arun Iyer and Kirankumar Shiragur and Pratham Grover and Ramakrishna B. Bairi and Ritabrata Maiti and Sankarshan Damle and Shachee Mishra Gupta and Rishikesh Maurya and Vageesh D. C},
journal= {arXiv preprint arXiv:2603.09835},
year = {2026}
}
备注
Published as a workshop paper at ICLR 2026 Workshop MemAgents