超越神经机器翻译中的错误传播：语言特性同样重要
计算与语言
2018-09-12 v2
摘要
神经机器翻译通常采用自回归模型，并受到暴露偏差以及由此产生的错误传播问题的困扰。许多先前工作讨论了错误传播与\emph{准确率下降}（即，在从左向右解码的模型中，翻译句子左半部分通常优于其右半部分）问题之间的关系。本文中，我们进行了一系列分析以深入理解该问题，并得到了若干有趣的发现。(1) 尽管错误传播确实导致了准确率下降问题，但文献中夸大了其在准确率下降中的作用。(2) 语言特性在导致准确率下降中起着更重要的作用：右分支语言（如英语）翻译结果的左半部分比其右半部分更可能更准确，而左分支语言（如日语）则是右半部分更准确。我们的发现已在包括Transformer和RNN的不同模型结构以及其他如文本摘要的序列生成任务中得到验证。
引用
@article{arxiv.1809.00120,
title = {Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter},
author = {Lijun Wu and Xu Tan and Di He and Fei Tian and Tao Qin and Jianhuang Lai and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1809.00120},
year = {2018}
}
备注
EMNLP 2018