HybridRAG:知识图谱与向量检索增强生成集成,用于高效信息提取
计算与语言
2024-08-12 v1 机器学习
统计金融
应用统计
机器学习
摘要
从金融应用中产生的非结构化文本数据(如收益电话会议记录)中提取和解释复杂信息,对大型语言模型(LLM)构成了重大挑战,即使采用当前的最佳实践——利用向量数据库进行信息检索的检索增强生成(RAG)(称为VectorRAG技术),也面临领域特定术语和文档复杂格式等挑战。我们提出了一种名为HybridRAG的新方法,它结合了基于知识图谱(KGs)的RAG技术(称为GraphRAG)和VectorRAG技术,以增强从金融文档中提取信息的问题回答(Q&A)系统,该系统被证明能够生成准确且上下文相关的答案。在一组以Q&A格式呈现的金融收益电话会议记录文档上的实验(因此提供了一组自然的Q&A真值对)表明,HybridRAG同时从向量数据库和知识图谱中检索上下文,在检索阶段和生成阶段均优于单独的传统VectorRAG和GraphRAG,在检索准确性和答案生成方面均表现更优。所提出的技术具有超越金融领域的应用前景。
引用
@article{arxiv.2408.04948,
title = {HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction},
author = {Bhaskarjit Sarmah and Benika Hall and Rohan Rao and Sunil Patel and Stefano Pasquali and Dhagash Mehta},
journal= {arXiv preprint arXiv:2408.04948},
year = {2024}
}
备注
9 pages, 2 figures, 5 tables