AutoHall：面向大语言模型的自动化事实性幻觉数据集生成
计算与语言
2025-12-01 v3
摘要
大语言模型（LLMs）已在各领域获得广泛应用，但仍受幻觉问题困扰。当前，幻觉频繁发生于事实内容生成中，对可信 LLM 构成巨大挑战。然而，幻觉检测受限于费力且昂贵的人工幻觉内容标注。同时，由于不同 LLM 表现出各异的幻觉类型与比率，幻觉数据集的收集天然具有模型特异性，这也增加了成本。为解决该问题，本文提出一种称为 的方法，用于基于现有事实核查数据集 动构建模型特异性 幻觉数据集。实证结果揭示了不同模型间幻觉比例与类型的差异。此外，我们引入一种基于自相矛盾的零资源黑盒幻觉检测方法，以识别所构建数据集中的幻觉，相较基线取得更优检测性能。对我们数据集的进一步分析揭示了可能导致 LLM 幻觉的因素。我们的代码与数据集公开于 https://github.com/zouyingcao/AutoHall。
引用
@article{arxiv.2310.00259,
title = {AutoHall: Automated Factuality Hallucination Dataset Generation for Large Language Models},
author = {Zouying Cao and Yifei Yang and XiaoJing Li and Hai Zhao},
journal= {arXiv preprint arXiv:2310.00259},
year = {2025}
}
备注
Accepted by IEEE Transactions on Audio, Speech, and Language Processing (TASLP)