可微混合代理机制激励大型语言模型的群体智慧
机器学习
2026-05-18 v1
摘要
近期大型语言模型（LLM）的进展催化了为复杂推理任务开发多代理系统（MAS）。然而，现有的 MAS 通常依赖于预定义或预编译的通信拓扑，这限制了其灵活性和适应性以应对动态任务要求。在本工作中，我们提出了可微混合代理（Differentiable Mixture-of-Agents, DMoA），一个自演化的多代理框架，使其在推断期间能够实现弹性和自适应的代理协作。我们不通过静态构建工作流程，而是在每个推理步骤动态路由和激活代理，使系统能够隐式模拟多样化的通信拓扑并适应不断变化的需求。为实现这一点，我们设计了一种可微、情境感知的路由机制，利用循环结构融合历史和情境信息，以稀疏方式产生代理激活。此外，我们引入预测熵作为自监督信号，以优化路由过程，实现无需外部注释的高效测试时适应。广泛的实验在 9 个基准测试上表明，DMoA 在实现最先进性能的同时，展现出强大的效率、鲁棒性和集成能力。
引用
@article{arxiv.2605.15706,
title = {Differentiable Mixture-of-Agents Incentivizes Swarm Intelligence of Large Language Models},
author = {Xingjian Wu and Junkai Lu and Siyu Yan and Xiangfei Qiu and Jilin Hu and Chenjuan Guo and Bin Yang},
journal= {arXiv preprint arXiv:2605.15706},
year = {2026}
}