难而鲁棒,易而敏感:编码器与解码器在神经机器翻译中的表现
计算与语言
2019-08-20 v1
摘要
神经机器翻译(NMT)通常采用编码器-解码器框架。对编码器和解码器特性与功能的良好理解有助于解释该框架的优缺点,并为NMT设计更好的模型。在这项工作中,我们以Transformer为例,对NMT中的编码器和解码器进行了实证研究。我们发现:1)解码器在NMT中处理的任务比编码器更简单;2)解码器对输入噪声比编码器更敏感;3)解码器中前面的词/标记提供了强的条件信息,这解释了上述两个观察结果。我们希望这些观察能阐明编码器和解码器的特性,并启发未来关于NMT的研究。
引用
@article{arxiv.1908.06259,
title = {Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation},
author = {Tianyu He and Xu Tan and Tao Qin},
journal= {arXiv preprint arXiv:1908.06259},
year = {2019}
}