为什么 AI 智能体仍然需要你:来自真实场景中开发者-智能体协作的发现
软件工程
2025-10-13 v3 人机交互
摘要
软件工程智能体 (SWE 智能体) 可以自主地在 SWE Bench 等基准上执行开发任务,但在应对复杂且模糊的真实世界任务时仍面临挑战。因此,SWE 智能体通常被设计为允许与开发者进行交互,从而实现协作式问题解决。为了理解开发者如何与 SWE 智能体协作以及在此类互动中面临的障碍,我们观察了 19 位开发者使用 IDE 内智能体来解决他们此前贡献过的仓库中的 33 个开放问题。参与者成功解决了大约一半的问题,其中增量解决问题的人比使用一次性方法的人取得了更大的成功。积极与智能体协作并迭代其输出的参与者也更为成功,尽管他们在信任智能体响应以及协作调试和测试方面面临挑战。我们的发现表明,为了促进成功的协作,SWE 智能体和开发者都应在软件开发过程的所有阶段积极贡献任务。SWE 智能体可以通过挑战开发者并与之展开讨论来实现这一点,而不是采取结论性或谄媚性的态度。
引用
@article{arxiv.2506.12347,
title = {Why AI Agents Still Need You: Findings from Developer-Agent Collaborations in the Wild},
author = {Aayush Kumar and Yasharth Bajpai and Sumit Gulwani and Gustavo Soares and Emerson Murphy-Hill},
journal= {arXiv preprint arXiv:2506.12347},
year = {2025}
}
备注
Accepted to ASE'25