天上或地狱之门？基于 HIC-Bench 框架评估大语言模型幻觉的智能与缺陷
计算与语言
2026-01-01 v2
摘要
大语言模型 (LLM) 中的幻觉通常被视为需要最小化的错误。然而，近期研究视角表明，某些幻觉可能编码出创造性或知识上有价值的内容，而当前文献中仍未对此进行系统量化。现有幻觉检测方法主要关注事实一致性，难以处理异构科学任务并在创造力与准确性之间取得平衡。为此，我们提出 HIC-Bench，一种新型评估框架，将幻觉分为智能幻觉 (IH) 与缺陷幻觉 (DH)，以系统性地探讨两者在 LLM 创造力中的相互作用。HIC-Bench 的核心特征包括：(1) 结构化的 IH/DH 评估，采用融合 Torrance 创造性思维测试 (TTCT) 指标（原创性、可行性、价值）与幻觉特定维度（科学合理性、事实偏差）的多维度指标矩阵；(2) 跨领域适用性，覆盖十个科学领域的开放性创新任务；(3) 动态提示优化，利用动态幻觉提示 (DHP) 指引模型朝着创造且可靠的输出方向前进。评估过程采用多个 LLM 裁判，取平均以减轻偏见，并由人工标注员验证 IH/DH 分类。实验结果揭示 IH 与 DH 之间呈非线性关系，证明创造力与正确性可共同优化。这些发现将 IH 定位为创造力的催化剂，揭示了 LLM 幻觉驱动科学创新的能力。此外，HIC-Bench 为推动 LLM 幻觉创造智能研究提供了宝贵平台。
引用
@article{arxiv.2512.21635,
title = {Heaven-Sent or Hell-Bent? Benchmarking the Intelligence and Defectiveness of LLM Hallucinations},
author = {Chengxu Yang and Jingling Yuan and Siqi Cai and Jiawei Jiang and Chuang Hu},
journal= {arXiv preprint arXiv:2512.21635},
year = {2026}
}
备注
Published as a conference paper at KDD 2026