条条大路通罗马？理解初始化在迭代反向翻译中的作用
计算与语言
2021-12-28 v1 机器学习
摘要
反向翻译提供了一种简单而有效的方法，以在神经机器翻译（NMT）中利用单语语料库。其迭代变体通过交替使用由反向模型生成的合成平行语料库来联合训练两个相反的 NMT 模型，在无监督机器翻译中起着核心作用。为了开始产生合理的翻译并相互提供有意义的训练信号，现有方法要么依赖单独的机器翻译系统来预热迭代过程，要么依赖某种形式的预训练来初始化模型权重。在本文中，我们分析了此类初始化在迭代反向翻译中所起的作用。最终系统的行为是否严重依赖于它？还是说给定任何合理的初始化，迭代反向翻译都会收敛到相似的解？通过对一组多样的预热系统的一系列实证实验，我们表明，尽管初始系统的质量确实影响最终性能，但其影响相对较小，因为迭代反向翻译具有强烈的收敛到相似解的倾向。因此，初始化方法所留下的改进空间狭窄，这表明未来研究应更多地聚焦于改进迭代机制本身。
引用
@article{arxiv.2002.12867,
title = {Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation},
author = {Mikel Artetxe and Gorka Labaka and Noe Casas and Eneko Agirre},
journal= {arXiv preprint arXiv:2002.12867},
year = {2021}
}