大海捞针：神经机器翻译中幻觉现象的综合研究

尽管神经机器翻译（NMT）中的幻觉问题已受到一定关注，但关于这一高度病态现象的研究缺乏坚实基础。先前的工作存在若干局限：常诉诸于放大该问题的人为设定，忽略某些（常见的）幻觉类型，且未验证检测启发式方法的充分性。本文为 NMT 幻觉研究奠定基础。首先，我们在自然设定下工作，即领域内的数据在训练与推理中均无人为噪声。接着，我们标注了一个超过 3.4k 句的数据集，标明不同类型的严重错误与幻觉。然后，我们转向检测方法，既重访先前使用的方法，也提出使用基于玻璃盒不确定性的检测器。总体而言，我们表明在预防性设定下，（i）先前使用的方法在很大程度上不充分，（ii）序列对数概率表现最佳且与基于参考的方法相当。最后，我们提出 DeHallucinator，一种在测试时缓解幻觉的简单方法，可显著降低幻觉率。为便利未来研究，我们发布了针对 WMT18 德英数据的标注数据集，以及模型、训练数据与代码。