系统幻觉量表（SHS）：用于评估大语言模型中幻觉相关行为的轻量级人本工具
计算与语言
2026-03-12 v1 人工智能
摘要
我们提出了系统幻觉量表（System Hallucination Scale, SHS），这是一种轻量级且以人类为中心的测量工具，用于评估大语言模型（LLMs）中幻觉相关行为。SHS 受 established 心计工具如系统可用性量表（System Usability Scale, SUS）和系统可及性量表（System Causability Scale, SCS）启发，使我们能够快速、可解释且领域中性地评估模型生成文本中关于事实不可靠性、不连贯性、误导性呈现以及对用户指导的响应性。SHS 明确不是自动幻觉检测器或基准指标；相反，它捕捉幻觉现象在真实交互条件下从用户视角的呈现方式。真实世界的评估包含 210 名参与者，显示出高清晰度、连贯的回应行为和 construct valid性，支持了包括内部一致性（Cronbach's alpha = 0.87）和显著的维度间相关性（p < 0.001）的统计分析。与 SUS 和 SCS 的比较分析揭示了补充的测量属性，支持 SHS 作为用于比较分析、迭代系统开发和部署监控的实用工具。
引用
@article{arxiv.2603.09989,
title = {The System Hallucination Scale (SHS): A Minimal yet Effective Human-Centered Instrument for Evaluating Hallucination-Related Behavior in Large Language Models},
author = {Heimo Müller and Dominik Steiger and Markus Plass and Andreas Holzinger},
journal= {arXiv preprint arXiv:2603.09989},
year = {2026}
}