基于知识图谱的 LLM 幻觉评估框架 GraphEval

Hannah Sansford; Nicholas Richardson; Hermina Petric Maretic; Juba Nait Saada

基于知识图谱的 LLM 幻觉评估框架 GraphEval

计算与语言 2024-07-16 v1 人工智能机器学习

作者: Hannah Sansford , Nicholas Richardson , Hermina Petric Maretic , Juba Nait Saada

摘要

评估大型语言模型(LLM)响应并检测与提供的知识相关的不一致性（即幻觉）的方法正在变得越来越重要，尤其是LLM应用方面。当前的指标在提供可解释决策、系统性检查响应中所有信息方面存在不足，并且往往过于计算昂贵以实际中使用。我们提出GraphEval：一种基于知识图谱(KG)结构表示信息的幻觉评估框架。我们的方法识别KG中易产生幻觉的特定三元组，从而比以前的方法更能提供幻觉发生位置的见解。如果确实发生了幻觉。此外，结合我们的方法与最先进的自然语言推理(NLI)模型使用，可在各种幻觉基准测试中实现平衡准确率的提高，与仅使用原始NLI模型相比。最后，我们探讨了在KG结构的帮助下进行幻觉纠正的用法，称为GraphCorrect的方法，并演示了大多数幻觉确实可以被纠正。

关键词

知识图谱幻觉评估大型语言模型图基分析自然语言推理

引用

@article{arxiv.2407.10793,
  title  = {GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework},
  author = {Hannah Sansford and Nicholas Richardson and Hermina Petric Maretic and Juba Nait Saada},
  journal= {arXiv preprint arXiv:2407.10793},
  year   = {2024}
}

备注

12 pages, to be published at KiL'24: Workshop on Knowledge-infused Learning co-located with 30th ACM KDD Conference, August 26, 2024, Barcelona, Spain

基于知识图谱的 LLM 幻觉评估框架 GraphEval

摘要

关键词

引用

备注

相关论文