面向零样本神经机器翻译的自学习
计算与语言
2021-03-11 v1
摘要
采用单语数据的神经机器翻译（NMT）方法在资源丰富条件下展现出稳步提升。然而，使用真实世界低资源语言的评测仍导致不尽人意的表现。本工作提出一种新颖的零样本 NMT 建模方法，其学习过程不依赖于当前标准假设，即存在一个与零样本源语言和目標语言共享平行数据的枢轴语言。我们的方法基于三个阶段：从任意观测过至少目标语言的预训练 NMT 模型初始化、利用目标端单语数据增强源端、以及学习将初始模型优化至零样本语言对，其中后两者构成一个自学习循环。涉及四组多样化（就语系、文字和相关性而言）零样本语言对的实证结果表明，相较有监督双语基线，我们的方法具有有效性，BLEU 最高提升 +5.93。与无监督 NMT 相比，即便在领域不匹配设定下也观察到一致提升，印证了我们方法的可用性。
引用
@article{arxiv.2103.05951,
title = {Self-Learning for Zero Shot Neural Machine Translation},
author = {Surafel M. Lakew and Matteo Negri and Marco Turchi},
journal= {arXiv preprint arXiv:2103.05951},
year = {2021}
}