SWE-ABS：对抗性基准强化暴露测试基准上的膨胀成功率
软件工程
2026-03-03 v1
摘要
SWE-Bench Verified 排行榜正逐渐趋于饱和，顶级系统达到 78.80% 的成绩。然而，我们指出这一表现被高估了。我们的重新评估显示，排名前 30 位 agent 的 1/5 项“已解决”补丁在语义上存在错误，仅因测试套件不足以暴露其错误而通过。我们提出 SWE-ABS，一种对抗性框架，通过两个阶段的管线强化测试套件：1）基于程序分片的覆盖率驱动数据增强，针对未测试的代码区域；2）基于变异的对抗性测试，通过合成合理但错误的补丁来暴露语义盲区。在 SWE-Bench Verified（500 项）上，SWE-ABS 强化了 50.2% 的条目，较先前工作提升了 25.1 倍，并拒绝了 19.71% 之前通过的补丁。因此，顶级 agent 的得分从 78.80% 下降至 62.20%，导致排行榜显著重排，原第一名的 agent 降至第五名。
引用
@article{arxiv.2603.00520,
title = {SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark},
author = {Boxi Yu and Yang Cao and Yuzhong Zhang and Liting Lin and Junjielong Xu and Zhiqing Zhong and Qinghua Xu and Guancheng Wang and Jialun Cao and Shing-Chi Cheung and Pinjia He and Lionel Briand},
journal= {arXiv preprint arXiv:2603.00520},
year = {2026}
}
备注
Strengthening SWE-Bench Verified and SWE-Bench Pro through adversarial test augmentation to improve the semantic reliability of LLM-based code agents