增强型知识图谱构建：聚焦幻觉、遗漏与图相似性指标的评估
计算与语言
2025-02-11 v1 人工智能
摘要
近期大型语言模型的快速发展在从非结构化文本自动构建知识图谱方面展现出巨大潜力。本文建立在我们之前的工作 [16] 基础上，该工作使用精确率、召回率、F1 分数、三元组匹配和图匹配等指标评估了各种模型，并提出了更精细的方法以解决幻觉和遗漏的关键问题。我们提出了增强的评估框架，引入 BERTScore 用于图相似性度量，设定 95% 作为图匹配的实用阈值。我们的实验聚焦于 Mistral 模型，比较其原始版本和微调后版本在零-shot 和 few-shot 设置下的表现。我们进一步使用 KELM-sub 训练数据集中的示例，说明微调后的模型在显著提升知识图谱构建准确性的同时，显著降低了确切幻觉和遗漏。然而，我们的发现也表明，微调后的模型在 KELM-sub 数据集上的泛化任务中表现更差。这一研究强调了在知识图谱构建中采用全面的评估指标对于推动从文本数据中构建知识图谱的前沿进展具有重要意义。
引用
@article{arxiv.2502.05239,
title = {Enhancing Knowledge Graph Construction: Evaluating with Emphasis on Hallucination, Omission, and Graph Similarity Metrics},
author = {Hussam Ghanem and Christophe Cruz},
journal= {arXiv preprint arXiv:2502.05239},
year = {2025}
}