SMoA：利用稀疏混合智能体改进多智能体大语言模型
人工智能
2024-11-06 v1 计算与语言
多智能体系统
摘要
尽管多智能体系统已被证明能显著提升大语言模型（LLM）在各种任务和应用中的性能，但规模扩展智能体之间密集的交互可能会妨碍其效率和多样性。为了应对这些挑战，我们从稀疏混合专家中汲取灵感，提出了一个稀疏混合智能体框架，以提升多智能体 LLM 的效率和多样性。与完全连接的结构不同，SMoA 引入了新颖的响应选择和提前停止机制，以稀疏化各个 LLM 智能体之间的信息流，在性能和效率之间取得平衡。此外，受 SMoE 框架中用于专家间工作负载平衡的专家多样性原则启发，我们为每个 LLM 智能体分配了不同的角色描述，以促进多样化和发散的思维。在推理、对齐和公平性基准上的大量实验表明，SMoA 实现了与传统混合智能体方法相当的性能，但计算成本显著降低。进一步的分析表明，SMoA 更稳定，具有更强的扩展能力，并通过超参数优化提供了可观的潜力。代码和数据将发布于：https://github.com/David-Li0406/SMoA。
引用
@article{arxiv.2411.03284,
title = {SMoA: Improving Multi-agent Large Language Models with Sparse Mixture-of-Agents},
author = {Dawei Li and Zhen Tan and Peijia Qian and Yifan Li and Kumar Satvik Chaudhary and Lijie Hu and Jiayi Shen},
journal= {arXiv preprint arXiv:2411.03284},
year = {2024}
}
备注
Under Review