LLM 在自动化 RDF 知识图谱生成中的性能评估
信息检索
2026-04-01 v1 人工智能
分布式、并行与集群计算
摘要
云系统生成大量异构日志数据，包含关键基础设施、应用程序和安全信息。将其转换为 RDF 三元组可实现集成到知识图谱中，从而提高可解释性、根因分析和跨服务推理，超越原始日志所能提供的效果。大型语言模型（LLM）提供了一种自动化 RDF 知识图谱生成的有前景方法；然而，其在复杂云日志上的有效性仍基本未被探索。在本文中，我们评估了多个 LLM 架构和提示策略，用于使用受控框架进行自动 RDF 提取。该框架包含两个管道，用于系统性地处理半结构化日志数据。提取管道整合多个 LLM 来识别相关实体和关系，自动生成主谓宾三元组。这些输出经一个专门的验证管道进行评估，该管道使用语法和语义指标来评估准确性、完整性和质量。由于缺乏公开的真实数据集，我们使用手动标注和本体驱动的方法从 OpenStack 日志中创建了一个参考 Log-to-KG 数据集，实现客观基准。我们的分析显示， Few-Shot 学习是最有效的策略，Llama 实现了 99.35% 的 F1 分数和 100% 的有效 RDF 输出，而 Qwen、NuExtract 和 Gemma 在 Few-Shot 提示下也表现良好，Chain-of-Thought 方法保持类似的准确性。One-Shot 提示提供了一种轻量且有效的替代方案，而 Zero-Shot 和诸如 Tree-of-Thought、Self-Critique 和 Generate-Multiple 等高级策略表现 substantially 差。这些结果突显了在准确的 RDF 提取中保持上下文示例和提示设计的重要性，并揭示了 LLM 架构之间的模型特定局限性。
引用
@article{arxiv.2603.29878,
title = {Performance Evaluation of LLMs in Automated RDF Knowledge Graph Generation},
author = {Ioana Ramona Martin and Tudor Cioara and Ionut Anghel and Gabriel Arcas},
journal= {arXiv preprint arXiv:2603.29878},
year = {2026}
}
备注
submitted to journal