面向神经机器翻译中无监督幻觉检测的最优传输方法
计算与语言
2023-05-22 v2 机器学习
摘要
神经机器翻译（NMT）已成为现实世界机器翻译应用中的事实标准。然而，NMT 模型可能不可预测地产生严重异常的翻译，即所谓的幻觉，这严重削弱了用户信任。因此，实施有效的预防策略以保证其正常运行变得至关重要。在本文中，我们遵循一个简单直觉来解决 NMT 中的幻觉检测问题：由于幻觉脱离源内容，它们表现出与高质量翻译统计上不同的编码器-解码器注意力模式。我们用最优传输公式刻画该问题，并提出一种完全无监督、可插拔的检测器，可用于任何基于注意力的 NMT 模型。实验结果表明，我们的检测器不仅优于所有先前的基于模型的检测器，而且与采用在数百万样本上训练的大型模型的检测器相比也具有竞争力。
引用
@article{arxiv.2212.09631,
title = {Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation},
author = {Nuno M. Guerreiro and Pierre Colombo and Pablo Piantanida and André F. T. Martins},
journal= {arXiv preprint arXiv:2212.09631},
year = {2023}
}
备注
Accepted at ACL 2023