利用OpenAI的Codex进行自动程序修复:评估QuixBugs
软件工程
2021-11-09 v1
摘要
OpenAI的Codex是一个类似GPT-3、在大型代码语料库上训练的模型,已在学术界内外引发关注。给定简短的用户描述,它能够在大多数情况下合成语法和语义均有效的代码片段。在这项工作中,我们想探究Codex是否能够定位并修复缺陷,这是自动程序修复(APR)领域的核心任务。我们的初步评估使用了多语言QuixBugs基准(Python和Java中各40个缺陷)。我们发现,尽管未针对APR进行训练,Codex出奇地有效,且与近期最先进技术具有竞争力。我们的结果还显示,Codex修复Python程序比Java程序略为成功。
引用
@article{arxiv.2111.03922,
title = {Automatic Program Repair with OpenAI's Codex: Evaluating QuixBugs},
author = {Julian Aron Prenner and Romain Robbes},
journal= {arXiv preprint arXiv:2111.03922},
year = {2021}
}