采用混合词-字符模型实现开放词汇神经机器翻译
计算与语言
2016-06-24 v2 机器学习
摘要
几乎所有先前的神经机器翻译(NMT)工作都使用了相当受限的词汇表，或许辅以后续方法来修补未知词。本文提出了一种新颖的词-字符解决方案以实现开放词汇NMT。我们构建混合系统，主要在词级别进行翻译，并在罕见词时参考字符组件。我们的字符级循环神经网络计算源词表示，并在需要时恢复未知目标词。这种混合方法的双重优势在于：比基于字符的方法训练更快、更容易；同时，它从不产生像基于词的模型那样的未知词。在WMT'15英译捷克语翻译任务上，该混合方法相比已处理未知词的模型带来了+2.1-11.4 BLEU点的额外提升。我们的最佳系统以20.7 BLEU分数达到了新的最先进水平。我们证明，我们的字符模型不仅能成功学习为捷克语（一种高度屈折、词汇极复杂的语言）生成格式良好的词，还能为英语源词构建正确表示。
引用
@article{arxiv.1604.00788,
title = {Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models},
author = {Minh-Thang Luong and Christopher D. Manning},
journal= {arXiv preprint arXiv:1604.00788},
year = {2016}
}
备注
11pages, 4 figures. ACL 2016 camera-ready version. SOTA WMT'15 English-Czech 20.7 BLEU (+2.1-11.4 points)