ReWE：用于神经机器翻译系统正则化的词嵌入回归方法
计算与语言
2019-04-05 v1
摘要
神经机器翻译的正则化仍是一个重要问题，尤其在低资源场景下。为缓解该问题，我们提出回归词嵌入（ReWE）作为一种新的正则化技术，该系统联合训练以预测翻译中的下一个词（分类值）及其词嵌入（连续值）。这种联合训练使所提系统能够学习词嵌入所表示的分布特性，据经验可改善对未见句子的泛化能力。在三个翻译数据集上的实验表明，相较于强基线有一致提升，幅度在0.91至2.54个BLEU点之间，并且相较最先进（state-of-the-art）系统也有显著提升。
引用
@article{arxiv.1904.02461,
title = {ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems},
author = {Inigo Jauregi Unanue and Ehsan Zare Borzeshi and Nazanin Esmaili and Massimo Piccardi},
journal= {arXiv preprint arXiv:1904.02461},
year = {2019}
}
备注
Accepted at NAACL-HLT 2019