摘要生成与代码生成实现回译:编程语言的无人监督翻译
计算与语言
2023-02-14 v2 编程语言
摘要
回译在平行数据极少或没有平行数据的神经机器翻译中因其有效性而广为人知。在该方法中,源到目标模型与并行训练的目标到源模型相耦合。目标到源模型生成带噪声的源,而源到目标模型被训练以重建目标,反之亦然。近期针对编程语言的多语言预训练序列到序列模型的发展,对广泛的下游软件工程任务非常有效。因此,通过回译训练它们来构建编程语言翻译系统颇具吸引力。然而,这些模型无法通过回译进一步训练,因为它们在预训练期间学习输出与输入相同语言的序列。作为替代,我们提出通过代码摘要与生成来执行回译。在代码摘要中,模型学习给定代码片段生成自然语言(NL)摘要。在代码生成中,模型学习相反过程。因此,回译中的目标到源生成可视为目标到 NL 再到源的生成。我们表明,我们提出的方法与最先进的方法相比具有竞争力。我们已公开代码。
引用
@article{arxiv.2205.11116,
title = {Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages},
author = {Wasi Uddin Ahmad and Saikat Chakraborty and Baishakhi Ray and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2205.11116},
year = {2023}
}
备注
Accepted to EACL 2023 (Main)