多智能体推理中通信的利与弊

链式思维提示已使大型语言模型的逐步推理方式大受欢迎，但模型性能随问题复杂度与上下文长度的增长仍有所下降。通过将复杂任务分解为更短、可管理的子任务，近期的多智能体范式为解决这一问题提供了前景的解决方案。然而，这些系统的基本能力仍鲜为人知。本文提出一个理论框架，用于分析多智能体系统的表达能力。我们将框架应用于三个算法族：状态跟踪、回忆与k跳推理。我们推导出（i）解决该任务所需的智能体数量、（ii）智能体间通信的数量与结构，以及（iii）随问题规模与上下文扩展所实现的加速上限。我们的结果识别了通信在何种情况下必然有益，描绘了智能体数量与带宽之间的权衡，并暴露了在任一资源受限时的内在局限。我们补充理论分析，通过一组针对预训练LLM的受控合成基准实验进行验证。实证结果确认了关键数量与理论预测之间的权衡。总体而言，我们的分析为设计可扩展的多智能体推理系统提供了原则性指导。