神经机器翻译中幻觉的奇特案例
计算与语言
2021-04-15 v1 人工智能
机器学习
摘要
本工作中，我们研究神经机器翻译（NMT）中的幻觉现象，其处于 NMT 病态表现谱的极端一端。首先，我们将源端扰动下的幻觉现象与 Feldman (2020) 的长尾理论相联系，并提出一个经实证验证的假设来解释源端扰动下的幻觉。其次，我们考虑语料库级噪声（无任何源端扰动）下的幻觉，并证明两种显著的自然幻觉类型（脱离式与振荡式输出）可通过特定的语料库级噪声模式生成并解释。最后，我们阐明了在反向翻译与序列级知识蒸馏等流行数据生成过程中的幻觉放大现象。
引用
@article{arxiv.2104.06683,
title = {The Curious Case of Hallucinations in Neural Machine Translation},
author = {Vikas Raunak and Arul Menezes and Marcin Junczys-Dowmunt},
journal= {arXiv preprint arXiv:2104.06683},
year = {2021}
}
备注
Accepted to NAACL 2021