HALoGEN：惊奇的大语言模型幻觉及其发现方式

Abhilasha Ravichander; Shrusti Ghela; David Wadden; Yejin Choi

HALoGEN：惊奇的大语言模型幻觉及其发现方式

计算与语言 2025-01-15 v1 人工智能

作者: Abhilasha Ravichander , Shrusti Ghela , David Wadden , Yejin Choi

摘要

尽管生成式大语言模型(LLM)在生成高质量流畅文本方面表现突出, 但也会产生幻觉: 与既定世界知识或提供的输入上下文不一致的陈述. 然而, 测量幻觉颇具挑战, 因为人类现场验证模型生成既昂贵又耗时. 本文我们发布HALoGEN, 一个包含: (1) 10,923个用于生成模型的提示, 覆盖包括编程、科学归因和概述等九个领域; (2) 每种用例的自动高精度验证器, 将LLM生成的文本分解为原子单元, 并针对每个单元与高质量知识来源进行验证. 我们使用该框架评估约150,000个来自14个语言模型的生成结果, 发现即便是表现最好的模型也充满了幻觉(在特定领域时, 最多可达86%). 我们进一步定义了一种新的错误分类, 基于幻觉可能源于训练数据中错误记忆(类型A错误), 训练数据中的错误知识(类型B错误), 或是编造(类型C错误). 我们希望我们的框架为促进为何生成模型产生幻觉的原则性研究, 并推动可信赖大语言模型的发展提供基础.

关键词

幻觉大语言模型基准测试验证错误分类

引用

@article{arxiv.2501.08292,
  title  = {HALoGEN: Fantastic LLM Hallucinations and Where to Find Them},
  author = {Abhilasha Ravichander and Shrusti Ghela and David Wadden and Yejin Choi},
  journal= {arXiv preprint arXiv:2501.08292},
  year   = {2025}
}

备注

Preprint

HALoGEN：惊奇的大语言模型幻觉及其发现方式

摘要

关键词

引用

备注

相关论文