基于预训练语言模型的自动代码生成
计算与语言
2021-02-23 v1 机器学习
摘要
自然语言处理的最新进展 \cite{gpt2} \cite{BERT} 已在多项自然语言任务中达到接近人类的性能。在本文中，我们试图理解类似技术是否可应用于具有严格语法规则的高度结构化环境。具体而言，我们提出了一种端到端的机器学习模型，用于基于预训练语言模型构建 Python 语言代码生成。我们证明，微调后的模型在代码生成任务中表现良好，取得了 0.22 的 BLEU 分数，较合理的序列到序列基线提升了 46%。所有用于训练和数据处理的结果及相关代码均在 GitHub 上公开。
引用
@article{arxiv.2102.10535,
title = {Automatic Code Generation using Pre-Trained Language Models},
author = {Luis Perez and Lizi Ottens and Sudharshan Viswanathan},
journal= {arXiv preprint arXiv:2102.10535},
year = {2021}
}
备注
9 pages, 11 figures