多语言神经机器翻译研究
计算与语言
2019-12-30 v1
摘要
多语言神经机器翻译（NMT）近来已从不同方面（例如，枢纽翻译、零样本翻译、微调或从零训练）和不同设置（例如，富资源与低资源、一对多以及多对一翻译）进行了研究。本文专注于对多语言 NMT 的深入理解，并在包含超过 20 种语言的多语言数据集上进行了全面研究。我们的结果表明：（1）低资源语言对在多语言训练中获益良多，而富资源语言对在有限模型容量下可能受损，且与相似语言训练比与不相似语言训练获益更多；（2）在一对多设置下微调优于从零训练，而在多对一设置下从零训练优于微调；（3）编码器的底层与解码器的顶层捕获更多语言特定信息，仅微调这些部分即可为低资源语言对实现良好准确率；（4）当源语言与目标语言相似时（例如，在同一语支内），即使直接训练数据规模小得多，直接翻译也优于枢纽翻译；（5）在给定固定训练数据预算下，为多语言训练引入更多语言更有利于零样本翻译。
引用
@article{arxiv.1912.11625,
title = {A Study of Multilingual Neural Machine Translation},
author = {Xu Tan and Yichong Leng and Jiale Chen and Yi Ren and Tao Qin and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1912.11625},
year = {2019}
}