关系线性度是幻觉的预测因子

幻觉是大语言模型 (LLM) 的一个核心失效模式。我们关注对诸如“Glenn Gould 演奏什么乐器？”这类问题回答的幻觉，但我们针对模型未知的合成实体提出这些问题。令人惊讶的是，我们发现像 Gemma-7B-IT 这样的中等规模模型经常产生幻觉，即它们难以认识到幻觉的事实并不属于其知识的一部分。我们假设导致这些幻觉的一个重要因素是关系的线性度：线性关系往往存储得更抽象，使得 LLM 难以评估其知识；非线性关系的事实往往存储得更直接，使得知识评估更容易。为了研究这一假设，我们创建了 SyntHal，一个包含六种关系共 6000 个合成实体的数据集。在对四个模型的实验中，我们针对每种关系确定了在 SyntHal 上的幻觉率，并使用 $\Delta\cos$ 测量了其线性度。我们发现关系线性度与幻觉率之间存在很强的相关性 ($r \in [.78,.82]$)，这为我们的假设提供了证据，即关系三元组的底层存储是影响模型自我评估其知识能力的一个因素。这一发现对如何管理幻觉行为具有启示意义，并为改进 LLM 中事实知识的表示指明了新的研究方向。