揭露幻觉：基于因果图注意力视角的大语言模型事实可靠性研究
计算与语言
2026-04-07 v1 机器学习
摘要
本文主要关注由人工智能语言模型（LLM）引起的幻觉问题。尽管LLM在语言理解和生成方面展现了卓越的能力，但其仍存在显著的缺点，即产生事实错误、误导或缺乏输入数据支撑的输出，这些幻觉在医学诊断或法律推理等场景中会造成严重问题。通过本研究，我们提出了一种基于因果图注意力网络（GCAN）的框架，通过构建结合自注意力权重和梯度基于影响分数的词级图，来解释变换器架构内部注意力流程，从而减少幻觉。我们提出了一种新的度量——因果贡献得分（CCS），来量化每个词的事实依赖性。我们进一步引入了基于事实锚定的图重标层，在生成过程中动态降低幻觉易发生节点的影响。在TruthfulQA和HotpotQA等标准基准上的实验表明，与基线检索增强生成（RAG）模型相比，幻觉率降低27.8%，事实准确性提升16.4%。本工作促进了未来LLM架构的可解释性、鲁棒性和事实可靠性。
引用
@article{arxiv.2604.04020,
title = {Unmasking Hallucinations: A Causal Graph-Attention Perspective on Factual Reliability in Large Language Models},
author = {Sailesh kiran kurra and Shiek Ruksana and Vishal Borusu},
journal= {arXiv preprint arXiv:2604.04020},
year = {2026}
}
备注
Paper accepted for publication at IEEE International Conference on Emerging Computing and Intelligent Technologies 2026 (ICoECIT),5 Pages,5 figures,1 table