多语言摘要中幻觉的检测与缓解
计算与语言
2023-10-27 v2 人工智能
机器学习
摘要
幻觉对抽象式摘要神经模型的可靠性构成重大挑战。虽然自动生成的摘要可能流畅，但常常缺乏对原文的事实忠实性。在低资源设定（如跨语言迁移）中，此问题更为突出。现有忠实度度量集中于英语，以至于难以衡量跨语言设定中该现象的程度。为此，我们首先开发了一种新颖的度量 mFACT，利用基于翻译的迁移从多个英语忠实度度量出发，评估非英语摘要的忠实性。随后我们提出了一种简单而有效的方法，通过跨语言迁移并依据每个训练样本的事实忠实性得分对其损失加权，来减少幻觉。通过在多种语言上的大量实验，我们证明 mFACT 是最适于检测幻觉的度量。此外，我们发现，相较于 MAD-X 等强跨语言迁移基线，根据自动与人工评价，我们所提损失加权方法在性能和忠实性上均大幅提升。我们的代码与数据集发布于 https://github.com/yfqiu-nlp/mfact-summ。
引用
@article{arxiv.2305.13632,
title = {Detecting and Mitigating Hallucinations in Multilingual Summarisation},
author = {Yifu Qiu and Yftah Ziser and Anna Korhonen and Edoardo M. Ponti and Shay B. Cohen},
journal= {arXiv preprint arXiv:2305.13632},
year = {2023}
}
备注
EMNLP 2023