基于循环高速网络的神经机器翻译
计算与语言
2019-05-07 v1 机器学习
摘要
循环神经网络近来在语言建模任务中广受关注，尤其在神经机器翻译（NMT）中。最新的NMT模型基于编码器-解码器，其中使用深层LSTM编码器将源句投影为固定维向量，再由另一深层LSTM从该向量解码目标句。然而，探索在每个时间步具有多于一层空间架构的工作极少。本文考察了简单循环高速网络（RHN）在NMT任务中的有效性。该模型在编码器和解码器中使用循环高速神经网络，并带有注意力机制。我们还探索了重构器模型以改进充分性。我们在IWSLT英越数据集上证明了这三种方法的有效性。我们发现RHN表现与基于LSTM的模型相当，在某些情况下甚至更优。由于高速连接，深层RHN模型比深层基于LSTM的模型更易训练。本文还研究了在每个时间步增加循环深度的影响。
引用
@article{arxiv.1905.01996,
title = {Neural Machine Translation with Recurrent Highway Networks},
author = {Maulik Parmar and V. Susheela Devi},
journal= {arXiv preprint arXiv:1905.01996},
year = {2019}
}
备注
International Conference on Mining Intelligence and Knowledge Exploration