莎士比亚之光：LLM解码层中幻觉与创造力的交织
计算与语言
2025-03-05 v1
摘要
大语言模型(LLMs)已知会产生幻觉，这一现象常与创造力相关联。虽然先前研究主要通过理论或定性视角探索这一联系，但我们的工作采用定量方法系统地考察了LLM中幻觉与创造力之间的关系。鉴于创造力的复杂性，我们为LLM提出了一个狭义的定义，并引入了一个评估框架HCL，用于量化LLM解码过程中不同层的幻觉与创造力。我们的实证分析揭示了一种跨层深度、模型类型和模型规模一致的幻觉与创造力之间的权衡。值得注意的是，在不同模型架构中，我们识别出每个模型规模下最优平衡这种权衡的特定层。此外，最优层倾向于出现在较大模型的早期层，且模型在该层的置信度也显著更高。这些发现提供了一个定量视角，为理解LLM创造力与幻觉之间的相互作用提供了新见解。我们的实验代码和数据可在https://github.com/ZicongHe2002/HCL-Spark获取。
引用
@article{arxiv.2503.02851,
title = {Shakespearean Sparks: The Dance of Hallucination and Creativity in LLMs' Decoding Layers},
author = {Zicong He and Boxuan Zhang and Lu Cheng},
journal= {arXiv preprint arXiv:2503.02851},
year = {2025}
}