基于线性关联单元的深度神经机器翻译
计算与语言
2017-05-03 v1 机器学习
摘要
深度神经网络（DNNs）已证明凭借其建模复杂函数和捕捉复杂语言结构的能力提升了最先进的神经机器翻译（NMT）的水平。然而，在编码器或解码器循环神经网络（RNN）中具有深层架构的NMT系统常因非线性循环激活而遭受严重的梯度弥散，这往往使优化更加困难。为解决此问题，我们提出了新颖的线性关联单元（LAU）以缩短循环单元内部的梯度传播长度。与常规方法（LSTM单元和GRU）不同，LAU利用循环单元输入与输出之间的线性关联连接，从而允许信息在空间和时间内方向上无阻碍地流动。该模型十分简单，但效果出奇地好。我们在中英翻译上的实证研究表明，配置合适的模型相较于Groundhog及相同设置下已有最佳结果可提高11.7 BLEU。在WMT14英德任务和更大的WMT14英法任务上，我们的模型取得了与最先进水平相当的结果。
引用
@article{arxiv.1705.00861,
title = {Deep Neural Machine Translation with Linear Associative Unit},
author = {Mingxuan Wang and Zhengdong Lu and Jie Zhou and Qun Liu},
journal= {arXiv preprint arXiv:1705.00861},
year = {2017}
}
备注
10 pages, ACL 2017