基于参数分化的多语言神经机器翻译
计算与语言
2021-12-28 v1
摘要
多语言神经机器翻译（MNMT）旨在使用单一模型翻译多种语言，并已被证明可通过共享参数在不同语言间实现有效的知识迁移而取得成功。然而，哪些参数应当共享、哪些需要为任务特定，仍是一个开放问题。目前常见的做法是启发式地设计或搜索语言特定模块，难以找到最优配置。本文提出一种新颖的基于参数分化的方法，使模型能够在训练过程中确定哪些参数应为语言特定的。受细胞分化启发，我们方法中的每个共享参数都可动态分化为更专门的类型。我们进一步将分化准则定义为任务间梯度相似性。因此，具有冲突任务间梯度的参数更可能成为语言特定的。在多语言数据集上的大量实验表明，我们的方法以不同参数共享配置显著优于多种强基线。进一步分析揭示，我们的方法所得参数共享配置与语言亲缘关系高度相关。
引用
@article{arxiv.2112.13619,
title = {Parameter Differentiation based Multilingual Neural Machine Translation},
author = {Qian Wang and Jiajun Zhang},
journal= {arXiv preprint arXiv:2112.13619},
year = {2021}
}