利用关系网络精炼源表示用于神经机器翻译
计算与语言
2018-05-28 v3 人工智能
机器学习
摘要
尽管带有编码器-解码器框架的神经机器翻译 (NMT) 近来取得了巨大成功，它仍存在若干缺陷：RNN 倾向于遗忘通常有用的旧信息，且编码器仅通过单词操作而未考虑词间关系。为解决这些问题，我们将关系网络 (RN) 引入 NMT 以精炼源的编码表示。在我们的方法中，RN 首先用每个源词及其邻居增强该源词的表示，并推理它们之间的所有可能存在成对关系。然后将源表示与所有关系一同输入注意力模块和解码器，保持主编码器-解码器架构不变。在两个不同规模的中英数据集上的实验均表明，我们的方法能显著优于具有竞争力的基线。
引用
@article{arxiv.1709.03980,
title = {Refining Source Representations with Relation Networks for Neural Machine Translation},
author = {Wen Zhang and Jiawei Hu and Yang Feng and Qun Liu},
journal= {arXiv preprint arXiv:1709.03980},
year = {2018}
}
备注
i am planned to improve my experiments and modified our paper