多域场景下的神经机器翻译训练
计算与语言
2018-11-21 v3
摘要
在本文中，我们探索了在多域场景下训练神经机器翻译系统的替代方法。我们研究了数据拼接（含微调）、模型堆叠（多级微调）、数据选择和多模型集成。我们的研究结果表明，通过在可用的域外数据拼接上构建初始系统，然后在域内数据上对其进行微调，可以获得最佳的翻译质量。当训练从最远的域外数据开始，并使用次远的域逐步微调模型，依此类推时，模型堆叠的效果最佳。数据选择并未给出最佳结果，但可视为训练时间与翻译质量之间的一种合理折中。不同单个模型的加权集成表现优于数据选择。在没有时间对已训练模型进行微调的场景下，这是有益的。
引用
@article{arxiv.1708.08712,
title = {Neural Machine Translation Training in a Multi-Domain Scenario},
author = {Hassan Sajjad and Nadir Durrani and Fahim Dalvi and Yonatan Belinkov and Stephan Vogel},
journal= {arXiv preprint arXiv:1708.08712},
year = {2018}
}
备注
8 pages