面向开放域代码生成的基于执行的评估
软件工程
2023-05-22 v2 人工智能
计算与语言
摘要
为了将编码查询的范围扩展到更真实的场景，我们提出了 ODEX，这是首个基于开放域执行的自然语言 (NL) 至 Python 代码生成数据集。ODEX 包含 945 个 NL-Code 对，涵盖 79 个不同的库，并附带 1,707 个用于执行的人工编写测试用例。我们的 NL-Code 对采集自 StackOverflow 论坛，以鼓励自然且实用的编码查询。此外，ODEX 支持四种自然语言作为意图，包括英语、西班牙语、日语和俄语。ODEX 揭示了性能顶尖的代码语言模型 (LM) 之间有趣的行为差异。虽然 CODEX 取得了更好的总体结果，但 CODEGEN 通过扩展规模有效提升了性能——CODEGEN 6.1B 的表现与 CODEX 12B 相当。两个模型在开放域与封闭域之间均表现出显著差距，但 CODEGEN 的差距随模型规模增大而趋于缩小，而 CODEX 的差距则趋于增大。我们发布 ODEX 以促进代码生成社区对开放域问题的研究。
引用
@article{arxiv.2212.10481,
title = {Execution-Based Evaluation for Open-Domain Code Generation},
author = {Zhiruo Wang and Shuyan Zhou and Daniel Fried and Graham Neubig},
journal= {arXiv preprint arXiv:2212.10481},
year = {2023}
}