基于关系模型的信息传播增强神经机器翻译
计算与语言
2018-05-28 v3
摘要
尽管序列到序列神经机器翻译(NMT)模型在近年来取得了最先进的性能，但人们广泛关注循环神经网络(RNN)单元很难捕获长距离状态信息，这意味着随着序列变长，RNN几乎无法找到具有长程依赖的特征。类似地，卷积神经网络(CNN)最近被引入NMT以加速，然而CNN侧重于捕获序列的局部特征；为缓解此问题，我们将关系网络纳入标准编码器-解码器框架中，以增强神经网络中的信息传播，确保源句子的信息能够充分流入解码器。实验表明，所提框架在两个不同规模的数据集上显著优于统计机器翻译模型和最先进的NMT模型。
引用
@article{arxiv.1709.01766,
title = {Information-Propogation-Enhanced Neural Machine Translation by Relation Model},
author = {Wen Zhang and Jiawei Hu and Yang Feng and Qun Liu},
journal= {arXiv preprint arXiv:1709.01766},
year = {2018}
}
备注
i am planned to improve my experiments and modified our paper