神经机器翻译为何偏好空输出
计算与语言
2020-12-29 v1
摘要
我们研究了神经机器翻译（NMT）系统为何对空翻译赋予高概率。我们发现了两点解释。首先，标签平滑（label smoothing）降低了正确长度翻译的置信度，使得空翻译更容易最终在得分上超过它们。其次，NMT 系统使用相同的高频 EoS 词来结束所有目标句子，而不论其长度。这产生了一种隐式平滑，增加了零长度翻译。在长度不同的目标句子中使用不同的 EoS 类型，可以暴露并消除这种隐式平滑。
引用
@article{arxiv.2012.13454,
title = {Why Neural Machine Translation Prefers Empty Outputs},
author = {Xing Shi and Yijun Xiao and Kevin Knight},
journal= {arXiv preprint arXiv:2012.13454},
year = {2020}
}
备注
6 pages