使用大语言模型进行知识工程（LLMKE）：以 Wikidata 为例的研究
计算与语言
2023-09-18 v1 人工智能
摘要
在这项工作中，我们探索在 ISWC 2023 LM-KBC 挑战赛背景下将大语言模型（LLMs）用于知识工程任务。对于该任务，给定源自 Wikidata 的主语与关系对，我们利用预训练 LLMs 以字符串格式生成相关宾语并将其链接至各自的 Wikidata QID。我们开发了使用 LLMs 进行知识工程（LLMKE）的流水线，结合知识探测与 Wikidata 实体映射。该方法在各属性上取得了 0.701 的宏平均 F1 分数，分数介于 1.00 与 0.328 之间。这些结果表明 LLMs 的知识因领域而异且差异显著，需进一步实验以确定在何种情况下可使用 LLMs 进行自动知识库（如 Wikidata）补全与修正。对结果的探究也暗示了 LLMs 在协作知识工程中的可观贡献。LLMKE 赢得了该挑战赛的 Track 2。实现代码见 https://github.com/bohuizhang/LLMKE。
引用
@article{arxiv.2309.08491,
title = {Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata},
author = {Bohui Zhang and Ioannis Reklos and Nitisha Jain and Albert Meroño Peñuela and Elena Simperl},
journal= {arXiv preprint arXiv:2309.08491},
year = {2023}
}
备注
Knowledge Base Construction from Pre-trained Language Models (LM-KBC) Challenge @ ISWC 2023