PanGu-Coder：基于函数级语言建模的程序合成
机器学习
2022-07-26 v1 人工智能
计算与语言
编程语言
软件工程
摘要
我们提出 PanGu-Coder，一个采用 PanGu-Alpha 架构的预训练仅解码器语言模型，用于文本到代码生成，即给定自然语言问题描述合成编程语言解。我们采用两阶段策略训练 PanGu-Coder：第一阶段使用因果语言建模（CLM）在原始编程语言数据上预训练，第二阶段结合因果语言建模与掩码语言建模（MLM）训练目标，聚焦于文本到代码生成的下游任务，并在松散配对的编程语言定义与代码函数上训练。最后，我们讨论 PanGu-Coder-FT，其在竞赛编程问题与带持续集成测试的代码组合上微调。我们评估 PanGu-Coder 时重点关注其是否生成功能正确的程序，并证明其取得与 CodeX 等类似规模模型相当或更好的性能，同时采用更小的上下文窗口且训练数据更少。
引用
@article{arxiv.2207.11280,
title = {PanGu-Coder: Program Synthesis with Function-Level Language Modeling},
author = {Fenia Christopoulou and Gerasimos Lampouras and Milan Gritta and Guchun Zhang and Yinpeng Guo and Zhongqi Li and Qi Zhang and Meng Xiao and Bo Shen and Lin Li and Hao Yu and Li Yan and Pingyi Zhou and Xin Wang and Yuchi Ma and Ignacio Iacobacci and Yasheng Wang and Guangtai Liang and Jiansheng Wei and Xin Jiang and Qianxiang Wang and Qun Liu},
journal= {arXiv preprint arXiv:2207.11280},
year = {2022}
}
备注
27 pages