面向长尾知识的检索增强型大型语言模型
信息检索
2024-06-25 v1
摘要
检索增强生成 (RAG) 在通过与用户查询相关的检索文档提升大型语言模型 (LLM) 知识能力方面表现突出。然而，RAG 只关注通过增强检索信息来提升 LLM 的响应质量，未充分关注 LLM 实际需要的知识类型以更准确地回答原始查询。在本文中，我们指出长尾知识对 RAG 至关重要，因为 LLM 已在大规模预训练期间记住了常见的世界知识。基于我们的观察，我们提出了一种简单而有效的长尾知识检测方法。具体而言，派生出一种新型的生成预期校准误差 (GECE) 指标，用于基于统计和语义信息衡量知识的“长尾程度”。因此，当输入查询涉及长尾知识时，我们检索相关文档并将其注入模型，以修补知识空白。实验表明，与现有 RAG 流程相比，我们的方法在平均推理时间上实现了 4 倍以上的加速，在下游任务中持续实现性能提升。
引用
@article{arxiv.2406.16367,
title = {On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models},
author = {Dongyang Li and Junbing Yan and Taolin Zhang and Chengyu Wang and Xiaofeng He and Longtao Huang and Hui Xue and Jun Huang},
journal= {arXiv preprint arXiv:2406.16367},
year = {2024}
}