探究神经机器翻译中幻觉的成因
计算与语言
2022-06-28 v1
摘要
幻觉作为困扰神经机器翻译的一类病态翻译，近来备受关注。简言之，幻觉翻译是流畅的句子却与源输入几乎无关。可以说，幻觉如何发生仍是一个开放问题。在本文中，我们提出使用探针方法（probing methods）从模型架构视角调查幻觉的成因，旨在未来的架构设计中避免此类问题。通过在多个 NMT 数据集上实验，我们发现幻觉常伴随编码器（尤其是嵌入）的缺陷以及脆弱的跨注意力，而有趣的是，跨注意力缓解了编码器引发的某些错误。
引用
@article{arxiv.2206.12529,
title = {Probing Causes of Hallucinations in Neural Machine Translations},
author = {Jianhao Yan and Fandong Meng and Jie Zhou},
journal= {arXiv preprint arXiv:2206.12529},
year = {2022}
}