面向多语言机器翻译的语言特定子网络学习
计算与语言
2021-07-26 v2
摘要
多语言神经机器翻译旨在为多种语言学习单一的翻译模型。这些联合训练的模型常在富资源语言对上出现性能退化。我们将此退化归因于参数干扰。本文提出 LaSS 以联合训练一个统一的单多语言 MT 模型。LaSS 为每个语言对学习语言特定子网络（LaSS）以对抗参数干扰。在 IWSLT 和 WMT 数据集上基于多种 Transformer 架构的综合实验表明，LaSS 在 36 个语言对上取得最高达 1.2 BLEU 的提升。此外，LaSS 在轻松扩展至新语言对和零样本翻译时展现出强大的泛化性能。LaSS 在 30 个语言对上以平均 8.3 BLEU 提升零样本翻译。代码与训练模型见 https://github.com/NLP-Playground/LaSS。
引用
@article{arxiv.2105.09259,
title = {Learning Language Specific Sub-network for Multilingual Machine Translation},
author = {Zehui Lin and Liwei Wu and Mingxuan Wang and Lei Li},
journal= {arXiv preprint arXiv:2105.09259},
year = {2021}
}
备注
ACL2021