优化知识图谱与大语言模型的接口以实现复杂推理
人工智能
2025-06-02 v1 计算与语言
摘要
将大语言模型（LLMs）与知识图谱（KGs）集成会产生具有众多超参数的复杂系统，这些超参数直接影响性能。虽然此类系统在检索增强生成中日益普遍，但系统化超参数优化的作用仍未得到充分探索。在本文中，我们在 Cognee（一个用于端到端 KG 构建和检索的模块化框架）的背景下研究这一问题。我们使用三个多跳问答基准（HotPotQA、TwoWikiMultiHop 和 MuSiQue）优化了与分块、图构建、检索和提示相关的参数。每个配置均使用既定指标（精确匹配、F1 以及 DeepEval 的基于 LLM 的正确性指标）进行评分。我们的结果表明，通过有针对性的调整可以实现有意义的提升。虽然提升是一致的，但它们并不均匀，性能因数据集和指标而异。这种可变性既突显了调整的价值，也突显了标准评估措施的局限性。在展示超参数调整的直接潜力的同时，我们认为未来的进步不仅取决于架构上的进展，还取决于在复杂、模块化系统中用于优化和评估的更清晰框架。
引用
@article{arxiv.2505.24478,
title = {Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning},
author = {Vasilije Markovic and Lazar Obradovic and Laszlo Hajdu and Jovan Pavlovic},
journal= {arXiv preprint arXiv:2505.24478},
year = {2025}
}
备注
This is a preliminary version. A revised and expanded version is in preparation