HalluEntity：面向实体级幻觉检测的基准测试与分析
计算与语言
2025-09-05 v3
摘要
为缓解大语言模型（LLM）天然幻觉带来的影响，许多研究提出通过不确定性估计来检测幻觉生成内容。然而，这些方法主要在句子或段落层面 operate，无法精准定位导致幻觉内容的具体片段或实体。这种缺乏细粒度的局限性在长文档输出中尤为突出，因为这些输出可能混合准确信息与虚构信息。为此，我们探索实体级幻觉检测。我们提出了一个新的数据集 HalluEntity，对幻觉进行实体级标注。基于该数据集，我们全面评估了17种现代大语言模型的基于不确定性的幻觉检测方法。我们的实验结果表明，侧重于单个 token 概率的不确定性估计方法倾向于过度预测幻觉，而具有上下文感知能力的方法表现更佳，但仍存在次优性能。通过深入的定性研究，我们识别了幻觉倾向与语言属性之间的关系，并指出了未来研究的重要方向。HalluEntity：https://huggingface.co/datasets/samuelyeh/HalluEntity
引用
@article{arxiv.2502.11948,
title = {HalluEntity: Benchmarking and Understanding Entity-Level Hallucination Detection},
author = {Min-Hsuan Yeh and Max Kamachee and Seongheon Park and Yixuan Li},
journal= {arXiv preprint arXiv:2502.11948},
year = {2025}
}
备注
TMLR 2025