对话模型中幻觉的起源：源于数据集还是模型？
计算与语言
2022-04-19 v1
摘要
基于知识的对话模型已知存在生成事实无效陈述的问题，这一现象通常称为幻觉。本工作中，我们调查该现象的根本原因：幻觉是由于训练数据还是由于模型？我们对现有基于知识的对话基准和若干最先进模型进行了全面人工研究。我们的研究揭示，标准基准包含 >60% 的幻觉回复，导致模型不仅产生幻觉甚至放大幻觉。我们的发现对现有数据集的质量及使用它们训练的模型提出了重要疑问。我们公开了标注以供未来研究。
引用
@article{arxiv.2204.07931,
title = {On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?},
author = {Nouha Dziri and Sivan Milton and Mo Yu and Osmar Zaiane and Siva Reddy},
journal= {arXiv preprint arXiv:2204.07931},
year = {2022}
}
备注
NAACL 2022, 14 pages