论神经机器翻译中的暴露偏差、幻觉与域偏移
计算与语言
2020-05-08 v1
摘要
神经机器翻译（NMT）中的标准训练算法存在暴露偏差，已有替代算法被提出以缓解此问题。然而，暴露偏差的实际影响尚存争议。在本文中，我们将暴露偏差与NMT中另一个众所周知的问题联系起来，即在域偏移下生成幻觉的趋势。在三个含多个测试域的数据集上的实验中，我们表明暴露偏差对幻觉负部分责任，且采用避免暴露偏差的最小风险训练（Minimum Risk Training）可缓解此问题。我们的分析解释了为何暴露偏差在域偏移下更具问题性，并将暴露偏差与束搜索问题（即随束宽增大性能退化）相联系。我们的结果为降低暴露偏差的方法提供了新依据：即便它们未提升域内测试集上的性能，也能增强模型对域偏移的鲁棒性。
引用
@article{arxiv.2005.03642,
title = {On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation},
author = {Chaojun Wang and Rico Sennrich},
journal= {arXiv preprint arXiv:2005.03642},
year = {2020}
}
备注
ACL 2020