检测真实LLM-人类交互中的幻觉
计算与语言
2026-03-06 v2
摘要
随着大型语言模型（LLMs）在医疗和法律等敏感领域的日益广泛应用，幻觉检测已成为关键任务。虽然提出了许多基准来推动该领域的研究，但大多数基准是人工构建的——要么通过刻意诱导幻觉，要么通过模拟交互——而非来自真实的LLM-人类对话。因此，这些基准未能完全捕捉真实使用环境中幻觉的特征。为此，我们引入AuthenHallu，这是第一个完全基于真实LLM-人类交互构建的幻觉检测基准。对于AuthenHallu，我们从真实的LLM-人类对话中挑选并标注样本，从而忠实反映LLM在日常用户交互中如何产生幻觉。统计分析显示，在我们的基准中，查询-响应对中发生幻觉的比例为31.4%，而在数学与数字问题等具有挑战性的领域，这一比例显著上升至60.0%。此外，我们探索了使用纯粹的LLM本身作为幻觉检测器的潜力，发现尽管有些前景，但目前的性能在实际场景中仍不足。该数据和代码已公开于https://github.com/TAI-HAMBURG/AuthenHallu。
引用
@article{arxiv.2510.10539,
title = {Detecting Hallucinations in Authentic LLM-Human Interactions},
author = {Yujie Ren and Niklas Gruhlke and Anne Lauscher},
journal= {arXiv preprint arXiv:2510.10539},
year = {2026}
}
备注
Accepted to LREC 2026