使用大型语言模型评估知识图谱中的类成员关系
计算与语言
2024-04-29 v1 人工智能
摘要
知识图谱的骨干是其类成员关系，即将实体分配给给定类。作为知识工程过程的一部分，我们提出了一种评估这些关系质量的新方法，该方法通过使用零样本思维链分类器处理给定实体和类的描述，该分类器使用类的自然语言内涵定义。我们使用两个公开可用的知识图谱 Wikidata 和 CaLiGraph 以及 7 个大型语言模型对该方法进行了评估。使用 gpt-4-0125-preview 大型语言模型时，该方法在 Wikidata 数据上的分类性能达到了 0.830 的宏平均 F1 分数，在 CaLiGraph 数据上达到了 0.893。此外，对分类错误的人工分析表明，40.9% 的错误归因于知识图谱，其中 16.0% 归因于缺失关系，24.9% 归因于错误断言的关系。这些结果表明，大型语言模型如何在知识图谱精炼过程中协助知识工程师。代码和数据可在 Github 上获取。
引用
@article{arxiv.2404.17000,
title = {Evaluating Class Membership Relations in Knowledge Graphs using Large Language Models},
author = {Bradley P. Allen and Paul T. Groth},
journal= {arXiv preprint arXiv:2404.17000},
year = {2024}
}
备注
11 pages, 1 figure, 2 tables, accepted at the European Semantic Web Conference Special Track on Large Language Models for Knowledge Engineering, Hersonissos, Crete, GR, May 2024, for associated code and data, see https://github.com/bradleypallen/evaluating-kg-class-memberships-using-llms