KeyKnowledgeRAG (K²RAG)：改进大语言模型问答能力的增强型 RAG 方法
计算与语言
2025-08-01 v2 人工智能
摘要
微调是将大型语言模型 (LLM) 纳入更大知识库进行再训练时的极其资源密集的过程。尽管已developed许多微调技术以减少所需时间和计算成本，但挑战仍然存在，因为 LLM 的规模和复杂度不断增长。为此，亟需一种新的知识扩展方法。检索增强生成 (RAG) 提供了一种通过存储外部知识于数据库并检索相关片段来支持问答的替代方案。然而， naive RAG 的实现在可扩展性和答案准确性方面存在显著局限。本文引入 KeyKnowledgeRAG (K2RAG)，一种新型框架旨�克服这些局限。灵感来自分治范式，K2RAG 集成稠密向量搜索、稀疏向量搜索、知识图谱和文本摘要，以提高检索质量和系统效率。该框架还包括对训练数据进行摘要化的预处理步骤，显著减少训练时间。K2RAG 采用 MultiHopRAG 数据集进行评估，该管道在文档语料库上训练并在独立评估集上测试。结果表明，与常见的 naive RAG 实现相比，K2RAG 实现了显著的改进。K2RAG 达到最高的平均答案相似度得分 0.57，第三四分位 (Q3) 相似度达到最高 0.82，表明其答案与真实答案的对齐度更佳。除了提高准确率外，该框架也证明具有高度效率。摘要步骤使各组件平均训练时间缩短 93%，执行速度比传统基于知识图谱的 RAG 系统快达 40%。K2RAG 还展示了卓越的可扩展性，所需显存仅为几乎所有 naive RAG 实现的三分之一。
引用
@article{arxiv.2507.07695,
title = {KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities},
author = {Hruday Markondapatnaikuni and Basem Suleiman and Abdelkarim Erradi and Shijing Chen},
journal= {arXiv preprint arXiv:2507.07695},
year = {2025}
}
备注
21 pages, 14 figures