知识遮蔽导致大语言模型中的混合幻觉
计算与语言
2024-07-12 v1
摘要
幻觉通常被视为大语言模型(LLM)在知识密集型任务中遇到的主要障碍。即使训练语料仅包含真实陈述，语言模型仍会生成以多个数学事实混合而成的幻觉输出。我们提出了'知识遮蔽'这一现象：当我们使用多个条件查询语言模型的知识时，某些条件会遮蔽其他条件，导致生成幻觉输出。该现象部分源于训练数据的不平衡，我们在多个预训练模型和微调模型上进行验证，覆盖广泛的语言模型家族和规模。从理论角度看，知识遮蔽可解释为占主导地位条件（模式）的过度泛化。我们展示了幻觉率随着主导条件描述长度和主导条件与次要条件之间的不平衡比例的增大而增长，符合我们推导的泛化界限。最后，我们提出利用遮蔽条件作为信号，在生成幻觉之前捕捉幻觉，并提出一种无需训练的自对比解码方法以在推理期间缓解幻觉。我们的方法在不同模型和数据集上展示出最高可达82%的F1分数用于幻觉预警，以及11.2%至39.4%的幻觉控制效果。
引用
@article{arxiv.2407.08039,
title = {Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models},
author = {Yuji Zhang and Sha Li and Jiateng Liu and Pengfei Yu and Yi R. Fung and Jing Li and Manling Li and Heng Ji},
journal= {arXiv preprint arXiv:2407.08039},
year = {2024}
}