利用知识图谱缓解大语言模型幻觉：案例研究

网络行动等高风险领域需要负责任且可信赖的人工智能方法。尽管大语言模型（LLM）在这些领域日益普及，但它们仍存在幻觉问题。本文提供了一个基于 LinkQ 的案例研究的学习成果。LinkQ 是一个开源自然语言接口，旨在通过强制 LLM 在问答（QA）过程中查询知识图谱（KG）以获取真实数据来对抗幻觉。我们使用知名的 KGQA 数据集对 LinkQ 进行了定量评估，结果表明该系统的性能优于 GPT-4，但在某些问题类别上仍存在困难——这表明未来的 LLM 查询系统需要研究替代的查询构建策略。我们通过与两位领域专家使用真实世界网络安全知识图谱进行的 LinkQ 定性研究进行了讨论，概述了这些专家的反馈、建议、感知到的局限性以及类似 LinkQ 系统的未来机遇。