在无监督神经机器翻译中利用课程学习
计算与语言
2021-09-24 v1
摘要
回译（BT）已成为无监督神经机器翻译（UNMT）的事实上的组成部分之一，它显式地使 UNMT 具备翻译能力。然而，BT 生成的所有伪双语文本在优化过程中都被当作干净数据同等对待，未考虑其质量差异，导致收敛缓慢且翻译性能受限。为解决该问题，我们提出一种课程学习方法，基于伪双语文本在多粒度上的质量逐步加以利用。具体而言，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度（质量）。然后，句子按从易到难的批次依次送入 UNMT。此外，考虑到特定批次内句子/词元的质量同样存在差异，我们进一步利用模型自身计算细粒度质量分数，将其作为学习因子以在计算损失时平衡不同部分的贡献，并鼓励 UNMT 模型聚焦于质量更高的伪数据。在 WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro 和 LDC En-Zh 翻译任务上的实验结果表明，所提方法取得了持续的提升且收敛速度更快。
引用
@article{arxiv.2109.11177,
title = {Exploiting Curriculum Learning in Unsupervised Neural Machine Translation},
author = {Jinliang Lu and Jiajun Zhang},
journal= {arXiv preprint arXiv:2109.11177},
year = {2021}
}
备注
Camera-ready for Findings of EMNLP 2021