语言模型的细粒度幻觉检测与编辑
计算与语言
2024-08-14 v4
摘要
大语言模型（LMs）容易产生事实错误，通常被称为幻觉。本文引入了一种全面的幻觉分类法，并论证幻觉以多种形式显现，每种形式都需要不同程度的仔细评估来验证事实性。我们提出了一项自动细粒度幻觉检测的新任务，并构建了一个新的评估基准FavaBench，其中包含对三个LM在不同领域输出的大约一千个细粒度人工判断。我们的分析揭示，ChatGPT和Llama2-Chat（70B，7B）在信息寻求场景下的大多数输出中表现出多种类型的幻觉。我们通过精心创建合成数据来训练检索增强型LM FAVA，以检测和纠正细粒度幻觉。在我们的基准上，自动和人工评估均显示，FAVA在细粒度幻觉检测上显著优于ChatGPT和GPT-4，并且FAVA建议的编辑提高了LM生成文本的事实性。
引用
@article{arxiv.2401.06855,
title = {Fine-grained Hallucination Detection and Editing for Language Models},
author = {Abhika Mishra and Akari Asai and Vidhisha Balachandran and Yizhong Wang and Graham Neubig and Yulia Tsvetkov and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2401.06855},
year = {2024}
}
备注
Our code, data, and demo are available at https://fine-grained-hallucination.github.io. Published as a conference paper at COLM 2024