将幻觉视为异常：通过概率电路进行动态干预
计算与语言
2026-05-08 v1 人工智能
摘要
大型语言模型最 critical 挑战之一是其倾向于幻觉，即产生事实不正确的响应。现有方法在幻觉纠正方面显示出有前景的结果，但仍然受到一个主要局限：它们对每个标记应用纠正，破坏了原本正确的生成。为克服这一缺点，我们提出了 PCNET，这是一个在 LLM 残差流上训练的概率电路，用作可致密的密度估计器。该方法通过几何异常检测幻觉，方法是对事实流形进行精确的负对数似然计算，无需抽样、外部验证器或权重修改，与现有技术不同。为演示其有效性，我们利用 PCNET 作为动态门，用于在每个解码步骤中区分幻觉隐藏状态和事实隐藏状态。这会触发我们的第二个主要贡献——PC-LDCD（概率电路潜在密度对比解码），仅在潜在几何偏离事实区域时启用，而不干扰正确的生成。在四个 LLM（规模从 1B 到 8B）和四个覆盖对话推理、知识密集型问答、阅读理解和真实性的基准测试方面，PCNET 在 CoQA、SQuAD v2.0 和 TriviaQA 上实现近乎完美的幻觉检测，AUROC 最高可达 99%。此外，PC-LDCD 在 TruthfulQA 上实现最高的 True+Info、MC2 和 MC3 分数（在四个模型中三个以上），并将平均损坏率降低到 53.7%，实现保存率 79.3%。我们的方法已公开于 GitHub。
引用
@article{arxiv.2605.05953,
title = {Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits},
author = {Erik Nielsen and Elia Cunegatti and Marcus Vukojevic and Giovanni Iacca},
journal= {arXiv preprint arXiv:2605.05953},
year = {2026}
}