Golden-Retriever：面向工业知识库的高保真代理式检索增强生成
信息检索
2024-08-05 v1 人工智能
计算与语言
数字图书馆
摘要
本文介绍了 Golden-Retriever，用于高效地浏览庞大的工业知识库，克服了传统 LLM 微调和检索增强生成框架在领域特定术语和上下文解释方面的挑战。Golden-Retriever 在文档检索前 incorporates 一种基于反思的问句扩充步骤，该步骤通过识别术语、基于上下文澄清其含义并相应地扩充问句来实现。具体而言，我们的方法提取并列出输入问句中出现的所有术语和缩写，确定其上下文（基于预定义列表），并查询术语词典以获取扩展定义和描述。这种全面的扩充确保检索框架能够检索到最相关的文档，通过提供清晰的上下文并消除歧义，显著提高检索准确性。使用三个开源 LLM 在领域特定问答数据集上的评估表明，Golden-Retriever 在性能上具有优势，为高效集成和查询工业知识库提供了稳健的解决方案。
引用
@article{arxiv.2408.00798,
title = {Golden-Retriever: High-Fidelity Agentic Retrieval Augmented Generation for Industrial Knowledge Base},
author = {Zhiyu An and Xianzhong Ding and Yen-Chun Fu and Cheng-Chung Chu and Yan Li and Wan Du},
journal= {arXiv preprint arXiv:2408.00798},
year = {2024}
}