ORACLE-SWE：量化先验信息信号对软件工程代理贡献
多智能体系统
2026-05-29 v2 计算与语言
软件工程
摘要
近期语言模型(LM)代理在自动化软件工程(SWE)方面的进展显著提高了性能。先前的工作提出了各种代理式工作流程和训练策略，以及分析了代理系统在SWE任务中的失败模式，关注几个情境信息信号：再现测试、回归测试、编辑位置、执行上下文和API使用。然而，每个信号对整体成功的贡献尚未得到充分探索，尤其是当中间信息完美获取时的理想贡献。为填补这一差距，我们引入Oracle-SWE，这是一种统一的方法，用于从SWE基准中分离并提取 oracle 信息信号，并量化每个信号对代理性能的影响。为进一步验证该模式，我们评估了由强大LM提取的信号在提供给基线代理时的性能提升，近似模拟真实世界的任务解决场景。这些评估旨在指导自主编码系统的研究优先级。
引用
@article{arxiv.2604.07789,
title = {ORACLE-SWE: Quantifying the Contribution of Oracle Information Signals on SWE Agents},
author = {Kenan Li and Qirui Jin and Liao Zhu and Xiaosong Huang and Yijia Wu and Yikai Zhang and Xin Zhang and Zijian Jin and Yufan Huang and Elsie Nallipogu and Chaoyun Zhang and Yu Kang and Saravan Rajmohan and Qingwei Lin and Wenke Lee and Dongmei Zhang},
journal= {arXiv preprint arXiv:2604.07789},
year = {2026}
}
备注
Under peer review; 37 pages, 10 figures, 5 tables