BLINKG：用于 LLM 集成知识图谱生成的基准
人工智能
2026-05-20 v1
摘要
生成知识图谱 (KG) 仍是知识工程师最耗时且最具工程性的任务，因为他们需要识别输入数据源与本体术语之间的语义等价性。虽然声明性解决方案（如 RML、SPARQL-Anything）有助于通用化这一过程，但将输入模式元素与本体概念对齐仍涉及复杂的转换，需要相当大的手动工作量。随着大语言模型 (LLM) 的出现，越来越多的人关注利用其能力协助 KG 工程师。虽然已有研究探索了使用 LLM 自动化 KG 构建，但仍不存在用于评估它们在数据模式与本体概念之间建立对应关系效果的标准框架。因此，本文提出了 BLINKG，一个用于评估 LLM 在从异构数据源构建 KG 时映射能力的基准。该基准包含一组基于真实案例的、具有递增复杂度的情景。我们对几种最先进的 LLM 使用 BLINKG 进行了广泛实验评估，发现它们已经提供了有前景的解决方案。然而，其性能在复杂情景下仍受限。通过本基准，我们已经能够评估 LLM 用于 KG 构建的当前能力。此外，我们定义了一组实现（半）自动（LLM 驱动）KG 构建的要求，为该领域的新研究方向铺平了道路。
引用
@article{arxiv.2605.19518,
title = {BLINKG: A Benchmark for LLM-Integrated Knowledge Graph Generation},
author = {Carla Castedo and Enrique Iglesias and Manuel Lama and Alberto Bugarin-Diz and Maria-Esther Vidal and David Chaves-Fraga},
journal= {arXiv preprint arXiv:2605.19518},
year = {2026}
}