使多语言神经机器翻译适应未见语言
计算与语言
2019-10-31 v1
摘要
面向低资源语言（LRL）的多语言神经机器翻译（MNMT）可借助相关的低资源语言（HRL）的存在而增强，但 HRL 的相关性通常依赖于关于语言相似性的预定义语言学假设。近来，将 MNMT 适配到 LRL 已被证明可大幅改进性能。在本工作中，我们探索利用数据选择与模型适配将 MNMT 模型适配到未见 LRL 的问题。为改进 LRL 的 NMT，我们采用困惑度基于语言距离选择与 LRL 最相似的 HRL 数据。我们在流行的多语言 NMT 设定中广泛探索数据选择，即在（零样本）翻译中，以及从多语言预训练模型进行适配中，涵盖两个方向（LRL-en）。我们进一步表明，与直接适配相比，对模型词表的动态适配为 LRL 带来了更有利的切分。实验显示训练时间减少，且相较 LRL 基线有显著性能提升，即便在零 LRL 数据下（+13.0 BLEU），对于采用相关数据选择的多语言预训练模型动态适配可达 +17.0 BLEU。我们的方法在四种 LRL 上优于现有方法，如大规模多语言模型与数据增强。
引用
@article{arxiv.1910.13998,
title = {Adapting Multilingual Neural Machine Translation to Unseen Languages},
author = {Surafel M. Lakew and Alina Karakanta and Marcello Federico and Matteo Negri and Marco Turchi},
journal= {arXiv preprint arXiv:1910.13998},
year = {2019}
}
备注
Accepted at the 16th International Workshop on Spoken Language Translation (IWSLT), November, 2019