论预训练与回译在神经机器翻译中的互补性
计算与语言
2021-10-06 v1 机器学习
摘要
预训练（PT）和回译（BT）是利用单语数据提升神经机器翻译（NMT）模型性能的两种简单而强大的方法。本文首次对 PT 与 BT 之间的互补性进行探究。我们分别引入了针对 PT 和 BT 的两个探测任务，发现 PT 主要作用于编码器模块，而 BT 为解码器带来更多增益。实验结果表明，PT 与 BT 彼此高度互补，在 WMT16 英罗和英俄基准上确立了最先进的性能。通过对句子原创度与词频的广泛分析，我们还证明将带标签回译（Tagged BT）与 PT 结合更有助于二者的互补，从而获得更好的翻译质量。源代码可在 https://github.com/SunbowLiu/PTvsBT 免费获取。
引用
@article{arxiv.2110.01811,
title = {On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation},
author = {Xuebo Liu and Longyue Wang and Derek F. Wong and Liang Ding and Lidia S. Chao and Shuming Shi and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2110.01811},
year = {2021}
}
备注
Accepted to Findings of EMNLP 2021