多样性赋能智能：整合软件工程智能体的专长
软件工程
2024-08-14 v1 人工智能
计算与语言
机器学习
摘要
大语言模型（LLM）智能体在解决现实世界软件工程（SWE）问题方面展现了巨大潜力。最先进的开源 SWE 智能体可以在 SWE-Bench Lite 上解决超过 27% 的真实 GitHub 问题。然而，这些复杂的智能体框架表现出不同的优势，在某些任务上表现出色而在其他任务上表现不佳。为了充分利用这些智能体的多样性，我们提出了 DEI（Diversity Empowered Intelligence，多样性赋能智能），一个利用其独特专长的框架。DEI 作为现有 SWE 智能体框架之上的元模块，管理智能体集体以增强问题解决能力。实验结果表明，由 DEI 引导的智能体委员会能够大幅超越最佳单个智能体的性能。例如，一组开源 SWE 智能体在 SWE-Bench Lite 上的最大个体解决率为 27.3%，通过 DEI 可以达到 34.3% 的解决率，实现了 25% 的提升，并超越了大多数闭源解决方案。我们表现最佳的团队实现了 55% 的解决率，在 SWE-Bench Lite 上获得了最高排名。我们的发现为协作 AI 系统及其解决复杂软件工程挑战的潜力研究做出了贡献。
引用
@article{arxiv.2408.07060,
title = {Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents},
author = {Kexun Zhang and Weiran Yao and Zuxin Liu and Yihao Feng and Zhiwei Liu and Rithesh Murthy and Tian Lan and Lei Li and Renze Lou and Jiacheng Xu and Bo Pang and Yingbo Zhou and Shelby Heinecke and Silvio Savarese and Huan Wang and Caiming Xiong},
journal= {arXiv preprint arXiv:2408.07060},
year = {2024}
}