用于神经机器翻译的迭代式双域自适应
计算与语言
2019-12-17 v1
摘要
先前关于神经机器翻译 (NMT) 领域自适应的研究主要集中于将域外翻译知识一次性迁移至域内 NMT 模型。本文认为，此类策略未能充分提取域间共享的翻译知识，且重复使用不同领域的语料可更好地蒸馏出域间共享的翻译知识。为此，我们提出一种用于 NMT 的迭代式双域自适应框架。具体而言，我们首先使用各自的训练语料分别预训练域内和域外 NMT 模型，然后基于知识蒸馏迭代执行双向翻译知识迁移（从域内到域外，反之亦然），直至域内 NMT 模型收敛。此外，我们将所提框架扩展至多域外训练语料的场景，其中上述迁移按域相似度升序在域内与各域外 NMT 模型之间顺序执行。在汉英和英德翻译任务上的实证结果证明了我们框架的有效性。
引用
@article{arxiv.1912.07239,
title = {Iterative Dual Domain Adaptation for Neural Machine Translation},
author = {Jiali Zeng and Yang Liu and Jinsong Su and Yubin Ge and Yaojie Lu and Yongjing Yin and Jiebo Luo},
journal= {arXiv preprint arXiv:1912.07239},
year = {2019}
}
备注
EMNLP2019