面向软件开发的自演化多智能体协作网络
软件工程
2024-10-24 v1 人工智能
多智能体系统
摘要
LLM 驱动的多智能体协作 (MAC) 系统在功能层面的自动软件开发方面展现了惊人的能力。然而，这些系统对人类设计高度依赖，限制了其适应实际软件开发中多样化需求的能力。为此，我们提出一种新型的自演化 MAC 网络范式，称为 EvoMAC。灵感来源于传统神经网络训练，EvoMAC 通过验证 MAC 网络输出是否符合目标代理来获取基于文本的环境反馈，并利用一种新颖的文本反向传播来更新网络。为将编码能力扩展到更具挑战性的软件层面开发，我们进一步提出了 rSDE-Bench，这是一个以需求为导向的软件开发基准，具有复杂多样的软件需求以及自动化的需求正确性评估。我们的实验表明：i) rSDE-Bench 中的自动需求感知评估与人类评估高度一致，验证了其作为软件级编码基准的可靠性。ii) EvoMAC 在软件级 rSDE-Bench 和功能级 HumanEval 基准上均优于以前的 SOTA 方法，体现了其在编码能力方面的优势。该基准可在 https://yuzhu-cai.github.io/rSDE-Bench/ 下载。
引用
@article{arxiv.2410.16946,
title = {Self-Evolving Multi-Agent Collaboration Networks for Software Development},
author = {Yue Hu and Yuzhu Cai and Yaxin Du and Xinyu Zhu and Xiangrui Liu and Zijie Yu and Yuchen Hou and Shuo Tang and Siheng Chen},
journal= {arXiv preprint arXiv:2410.16946},
year = {2024}
}
备注
25 pages