MCoNaLa：一个基于多种自然语言生成代码的基准
计算与语言
2023-02-08 v2
摘要
尽管自然语言与编程语言交叉应用（如代码生成与代码摘要）近期蓬勃发展，这些应用通常以英语为中心。这为不精通英语的程序开发者造成了障碍。为缓解跨语言技术发展的这一鸿沟，我们提出一个多语言数据集 MCoNaLa，用于基准测试超越英语的自然语言命令代码生成。借鉴英语代码/自然语言挑战（CoNaLa）数据集的方法论，我们标注了三种语言共 896 个自然语言-代码对：西班牙语、日语和俄语。我们通过最先进代码生成系统的测试，对 MCoNaLa 数据集上的性能进行了定量评估。尽管这三种语言的难度各异，所有系统均显著落后于其英语对应系统，揭示了将代码生成适配到新语言所面临的挑战。
引用
@article{arxiv.2203.08388,
title = {MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages},
author = {Zhiruo Wang and Grace Cuenca and Shuyan Zhou and Frank F. Xu and Graham Neubig},
journal= {arXiv preprint arXiv:2203.08388},
year = {2023}
}