面向多语言神经机器翻译的基于重要性的神经元分配
计算与语言
2021-07-15 v1
摘要
使用单一模型的多语言神经机器翻译因其处理多种语言的能力而备受关注。然而,当前的多语言翻译范式常使模型倾向于保留通用知识,却忽略语言特定知识。一些先前的工作试图通过向模型添加各类语言特定模块来解决此问题,但它们面临参数爆炸问题且需要专门的手动设计。为解决这些问题,我们提出基于神经元跨语言的重要性将其划分为通用部分与语言特定部分。通用部分负责保留通用知识并参与所有语言的翻译,而语言特定部分负责保留语言特定知识并参与某些特定语言的翻译。在涵盖IWSLT与Europarl语料数据集的若干语言对上的实验结果证明了所提方法的有效性与通用性。
引用
@article{arxiv.2107.06569,
title = {Importance-based Neuron Allocation for Multilingual Neural Machine Translation},
author = {Wanying Xie and Yang Feng and Shuhao Gu and Dong Yu},
journal= {arXiv preprint arXiv:2107.06569},
year = {2021}
}
备注
ACL 2021