事实锚定注意力：通过注意力层面的知识集成消除大语言模型中的幻觉

“知识最大的敌人不是无知，而是知识的幻觉。”大语言模型已经征服了自然语言，但仍然是其自身概率本质的囚徒——自信地幻觉出它们从未真正知道的事实。我们提出了事实锚定注意力（FGA），这是一种新颖的架构修改，通过将可验证的知识直接注入注意力机制，将不可靠的语言模型转变为确定性的真相告知者。与在生成后修补幻觉或在输入前预置检索文本的现有方法不同，FGA 在 Transformer 的数学核心——pre-softmax 注意力分数——进行干预，创造了一个当其知识库中存在事实时无法产生幻觉的模型。我们在涵盖智能手机、笔记本电脑和电动汽车的 1,107 个技术查询上的实验表明，准确率从原始 Llama 3.2 的 6.3% 提升到了使用 FGA 的 99.7%。更关键的是，知识更新在不到一秒内即可完成且无需重新训练，而参数编辑方法则需要数小时。FGA 不仅仅是减少幻觉——它对于可验证事实完全消除了幻觉，标志着神经语言生成从概率近似向确定性精度的根本性转变。