ERNIE-Code：超越以英语为中心的程序语言跨语言预训练

使用同一编程语言（PL）的软件工程师可能操不同自然语言（NL），反之亦然，这造成了巨大的沟通与工作效能障碍。近期研究已证明生成式预训练在计算机程序中的有效性，但它们始终以英语为中心。本工作中，我们致力于为大语言模型（LLMs）弥合多语言 NL 与多语言 PL 之间的鸿沟。我们发布 ERNIE-Code，一个面向 116 种 NL 与 6 种 PL 的统一预训练语言模型。我们采用两种通用跨语言预训练方法：从单语 NL 或 PL 学习模式的跨度破坏语言建模；以及依赖多种 NL 与 PL 平行数据的基于枢轴翻译语言建模。广泛结果表明，ERNIE-Code 在代码智能的一系列端任务（包括多语言代码到文本、文本到代码、代码到代码及文本到文本生成）上优于此前的多语言 LLM。我们进一步展示其在多语言代码摘要与文本到文本翻译上零样本提示的优势。我们发布了代码与预训练检查点。