基于词级自适应分层领域混合的多领域神经机器翻译
计算与语言
2021-02-15 v3 机器学习
摘要
许多多领域神经机器翻译（NMT）模型通过强制单个编码器学习跨领域的共享嵌入来实现知识迁移。然而，这种设计缺乏对各个领域的适应性。为克服此局限，我们提出了一种新颖的多领域 NMT 模型，为每个领域使用独立模块，并在其上应用词级、自适应和分层领域混合。我们首先观察到句子中的词常涉及多个领域。因此，我们假设每个词具有一个领域比例，用以指示其领域偏好。随后，基于词的领域比例混合其在各独立领域中的嵌入，得到词表示。我们展示了这可以通过精心为不同领域设计多头点积注意力模块，并最终按词级分层领域比例对其参数取加权平均来实现。借此，我们既能实现有效的领域知识共享，也能捕获细粒度的领域特定知识。实验表明，我们所提模型在多个 NMT 任务上优于现有模型。
引用
@article{arxiv.1911.02692,
title = {Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing},
author = {Haoming Jiang and Chen Liang and Chong Wang and Tuo Zhao},
journal= {arXiv preprint arXiv:1911.02692},
year = {2021}
}