改进神经机器翻译中的词汇选择
计算与语言
2018-04-19 v3
摘要
我们探讨了两种解决神经机器翻译中罕见词误译问题的方案。首先，我们认为标准输出层（计算表示上下文的向量与所有可能输出词嵌入的内积）不成比例地奖励了高频词，并提议将这两个向量的范数固定为常数。其次，我们集成了一个简单的词汇模块，该模块与模型的其余部分联合训练。我们在数据规模从 10 万到 800 万词不等的八个语言对上评估了我们的方法，实现了高达 +4.3 BLEU 的提升，并在几乎所有设置下超越了基于短语的翻译。
引用
@article{arxiv.1710.01329,
title = {Improving Lexical Choice in Neural Machine Translation},
author = {Toan Q. Nguyen and David Chiang},
journal= {arXiv preprint arXiv:1710.01329},
year = {2018}
}
备注
Accepted at NAACL HLT 2018