基于对话式测试套件的程序修复潜力探索——以 SWE-bench 为例

Anton Cheshkov; Pavel Zadorozhny; Rodion Levichev; Evgeny Maslov; Ronaldo Franco Jaldin

基于对话式测试套件的程序修复潜力探索——以 SWE-bench 为例

软件工程 2024-10-08 v1 人工智能多智能体系统

作者: Anton Cheshkov , Pavel Zadorozhny , Rodion Levichev , Evgeny Maslov , Ronaldo Franco Jaldin

摘要

项目级别的自动程序修复可能在各类人类活动领域开辟出前所未有的机遇。自 SWE-Bench 挑战提出后，我们见证了大量解决方案的出现。补丁生成是程序修复的一个环节，测试套件驱动的对话式补丁生成已被证明其有效性。然而，对话式补丁生成在 SWE-bench 上的潜力尚未得到具体评估。本研究报告了旨在评估对话式补丁生成在 SWE-bench 问题上单一有效性的实验结果。实验表明，基于 LLaMA 3.1 70B 的一个简单对话式管道可在 47% 的情况下生成有效补丁，这与 SWE-bench 上程序修复的最新成果相当。

关键词

程序修复 SWE-bench 对话式补丁生成大语言模型测试套件

引用

@article{arxiv.2410.04485,
  title  = {Exploring the Potential of Conversational Test Suite Based Program Repair on SWE-bench},
  author = {Anton Cheshkov and Pavel Zadorozhny and Rodion Levichev and Evgeny Maslov and Ronaldo Franco Jaldin},
  journal= {arXiv preprint arXiv:2410.04485},
  year   = {2024}
}

备注

3 pages, 2 figures, 1 algorithm, appendix

基于对话式测试套件的程序修复潜力探索——以 SWE-bench 为例

摘要

关键词

引用

备注

相关论文