用加减双门控循环网络简化神经机器翻译
计算与语言
2018-10-31 v1
摘要
本文提出一种加减双门控循环网络（ATR）以简化神经机器翻译。ATR 的循环单元被大幅简化，在所有现有门控 RNN 的单元中拥有最少的权重矩阵数量。借助简单的加法和减法操作，我们引入双门控机制来构建高度相关的输入门与遗忘门。尽管作了此种简化，建模非线性特性与长距离依赖的能力仍得以保留。此外，由于简化，所提 ATR 比 LSTM/GRU 更具可解释性。ATR 中可轻松建立前向自注意力，使该网络具备可解释性。在 WMT14 翻译任务上的实验表明，基于 ATR 的神经机器翻译在英语-德语和英语-法语语言对上于翻译质量与速度方面均能取得有竞争力的表现。在 NIST 汉英翻译、自然语言推理与中文分词上的进一步实验验证了 ATR 在不同自然语言处理任务上的通用性与适用性。
引用
@article{arxiv.1810.12546,
title = {Simplifying Neural Machine Translation with Addition-Subtraction Twin-Gated Recurrent Networks},
author = {Biao Zhang and Deyi Xiong and Jinsong Su and Qian Lin and Huiji Zhang},
journal= {arXiv preprint arXiv:1810.12546},
year = {2018}
}
备注
EMNLP 2018, long paper, source code released