检测与缓解机器翻译中的幻觉:仅用模型内部机制已表现良好,句相似度更佳
计算与语言
2022-12-21 v2
摘要
尽管神经机器翻译中幻觉的问题早已被认识到,但迄今为止其在缓解方面的进展甚少。确实,最近发现若不人为鼓励模型产生幻觉,既有方法便告失效,甚至标准序列对数概率也更具信息量。这意味着模型内部的特征能提供比预期多得多的信息,而在使用外部模型与度量之前,我们需先追问:若仅使用翻译模型本身,我们能走多远?我们提出一种方法,评估源语言对生成翻译的贡献百分比。直观上,幻觉是脱离源的翻译,因此可通过低源贡献识别。该方法将最严重幻觉的检测准确率提升 2 倍,并能在测试时缓解幻觉,效果与先前依赖外部模型的最佳方法相当。进而,若我们脱离模型内部特征并允许外部工具,我们展示使用跨语言嵌入的句相似度可进一步改善这些结果。
引用
@article{arxiv.2212.08597,
title = {Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better},
author = {David Dale and Elena Voita and Loïc Barrault and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:2212.08597},
year = {2022}
}