KGLens：利用知识图谱高效有效地探测大语言模型知识
人工智能
2024-08-02 v3 计算与语言
机器学习
摘要
大语言模型（LLMs）可能会产生事实幻觉，而 curated 知识图谱（KGs）通常在事实上是可靠的，尤其是在领域特定知识方面。测量 KGs 与 LLMs 之间的对齐程度可以有效地探测 LLMs 的事实性并识别其知识盲点。然而，在广泛的 KGs 上验证 LLMs 可能代价高昂。在本文中，我们提出了 KGLens，这是一个受 Thompson 采样启发的框架，旨在有效且高效地测量 KGs 与 LLMs 之间的对齐程度。KGLens 具有一个图引导的问题生成器，用于将 KGs 转换为自然语言，以及一种基于参数化 KG 结构精心设计的的重要性采样策略，以加速 KG 遍历。我们的模拟实验在六种不同的采样方法下比较了暴力方法与 KGLens，表明我们的方法实现了更优越的探测效率。利用 KGLens，我们对十个 LLMs 在来自 Wikidata 的三个大型领域特定 KGs 上的事实准确性进行了深入分析，这些 KGs 包含超过 19K 条边、700 个关系和 21K 个实体。人工评估结果表明，KGLens 评估 LLMs 的准确度水平几乎等同于人工标注者，达到了 95.7% 的准确率。
引用
@article{arxiv.2312.11539,
title = {KGLens: Towards Efficient and Effective Knowledge Probing of Large Language Models with Knowledge Graphs},
author = {Shangshang Zheng and He Bai and Yizhe Zhang and Yi Su and Xiaochuan Niu and Navdeep Jaitly},
journal= {arXiv preprint arXiv:2312.11539},
year = {2024}
}
备注
ACL 2024 Workshop Towards Knowledgeable Language Models