HILL：大型语言模型的幻觉识别器
人机交互
2024-05-22 v1
摘要
大型语言模型 (LLMs) 容易产生幻觉，即无意义、不忠实和不理想的文本。用户倾向于过度依赖 LLMs 及其产生的幻觉，这可能导致误解和错误。为解决过度依赖问题，我们提出了 HILL，即“大型语言模型的幻觉识别器”。首先，我们通过涉及九名参与者的 Wizard of Oz 方法确定了 HILL 的设计特征。随后，基于已识别的设计特征实现了 HILL，并通过调查 17 名参与者评估了 HILL 的界面设计。此外，我们基于现有的问答数据集和五次用户访谈，调查了 HILL 识别幻觉的功能。我们发现 HILL 能够正确识别并突出显示 LLM 响应中的幻觉，使用户能更谨慎地处理 LLM 响应。据此，我们提出了一种易于实施的现有 LLMs 适配方案，并展示了人工智能制品以用户为中心的设计的相关性。
引用
@article{arxiv.2403.06710,
title = {HILL: A Hallucination Identifier for Large Language Models},
author = {Florian Leiser and Sven Eckhardt and Valentin Leuthe and Merlin Knaeble and Alexander Maedche and Gerhard Schwabe and Ali Sunyaev},
journal= {arXiv preprint arXiv:2403.06710},
year = {2024}
}