CodeXGLUE：用于代码理解与生成的机器学习基准数据集
软件工程
2021-03-17 v2 计算与语言
摘要
基准数据集对加速编程语言任务的研究具有显著影响。在本文中，我们介绍 CodeXGLUE，一个用于推动程序理解与生成的机器学习研究的基准数据集。CodeXGLUE 包含横跨 14 个数据集的 10 项任务集合，以及一个用于模型评估与比较的平台。CodeXGLUE 还提供三个基线系统，包括 BERT 风格、GPT 风格和编码器-解码器模型，以方便研究人员使用该平台。此类数据与基线的可用性有助于新方法的开发与验证，这些方法可应用于各类程序理解与生成问题。
引用
@article{arxiv.2102.04664,
title = {CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation},
author = {Shuai Lu and Daya Guo and Shuo Ren and Junjie Huang and Alexey Svyatkovskiy and Ambrosio Blanco and Colin Clement and Dawn Drain and Daxin Jiang and Duyu Tang and Ge Li and Lidong Zhou and Linjun Shou and Long Zhou and Michele Tufano and Ming Gong and Ming Zhou and Nan Duan and Neel Sundaresan and Shao Kun Deng and Shengyu Fu and Shujie Liu},
journal= {arXiv preprint arXiv:2102.04664},
year = {2021}
}
备注
14 pages; Revise CodeBLEU scores for all models on text-to-code task