RMoA：通过多样性最大化和残差补偿优化混合智能体
人工智能
2025-06-02 v1
摘要
尽管基于大语言模型的多智能体系统在多个任务上展现出强大的能力，但它们仍受到高计算开销、信息丢失和鲁棒性问题的限制。受 ResNet 残差学习的启发，我们提出了残差混合智能体（RMoA），通过集成残差连接来优化效率和可靠性。为了在最小化计算成本的同时最大化模型响应的信息利用率，我们创新性地设计了一种基于嵌入的多样性选择机制，该机制通过向量相似度贪心地选择响应。此外，为了缓解迭代过程中的信息退化，我们引入了残差提取智能体，通过捕获层间响应差异来保留跨层增量信息，并结合残差聚合智能体进行分层信息整合。另外，我们提出了一种自适应终止机制，该机制基于残差收敛动态停止处理，进一步提高了推理效率。RMoA 在对齐、数学推理、代码生成和多任务理解等基准测试上取得了 SOTA 性能，同时显著降低了计算开销。代码可在 https://github.com/mindhunter01/RMoA 获取。
引用
@article{arxiv.2505.24442,
title = {RMoA: Optimizing Mixture-of-Agents through Diversity Maximization and Residual Compensation},
author = {Zhentao Xie and Chengcheng Han and Jinxin Shi and Wenjun Cui and Xin Zhao and Xingjiao Wu and Jiabao Zhao},
journal= {arXiv preprint arXiv:2505.24442},
year = {2025}
}
备注
Accepted by ACL 2025 (Findings)