基于聚合注意力分数的AggTruth情境幻觉检测
人工智能
2025-06-24 v1 计算与语言
摘要
在实际应用中，大型语言模型（LLM）常常在检索增强生成（RAG）设置下产生幻觉，这对其部署构成重大挑战。本文介绍了AggTruth方法，通过分析提供上下文（段落）中内部注意力得分的分布来检测情境幻觉。具体而言，我们提出了四种不同变体的方法，每种变体在用于计算注意力得分的聚合技术方面存在差异。在所选的所有LLM中，AggTruth在相同任务和跨任务设置中均表现出稳定性能， 在多个场景中均优于当前SOTA。此外，我们对特征选择技术进行了深入分析，检讨了所选注意力头的数量对检测性能的影响，表明精妥选择注意力头是实现最佳性能的关键。
引用
@article{arxiv.2506.18628,
title = {AggTruth: Contextual Hallucination Detection using Aggregated Attention Scores in LLMs},
author = {Piotr Matys and Jan Eliasz and Konrad Kiełczyński and Mikołaj Langner and Teddy Ferdinan and Jan Kocoń and Przemysław Kazienko},
journal= {arXiv preprint arXiv:2506.18628},
year = {2025}
}
备注
ICCS 2025 Workshops