你真的知道你在谈论什么吗？基于查询-知识相关性的字符化检索增强生成
计算与语言
2024-10-14 v1 机器学习
摘要
语言模型（LMs）已知会出现幻觉和错误信息。通过检索外部知识语料库中可验证信息来补充语言模型中参数化知识的检索增强生成（RAG）为解决这些问题提供了切实可行的解决方案。然而，RAG的生成质量高度依赖于用户查询与检索文档之间的相关性。当查询超出外部知识语料库表示的知识范围，或语料库中的信息已过时时，可能会生成不准确的响应。本文建立了统计框架，以捕捉知识相关性来评估查询是否能被RAG系统准确回答。我们引入一种在线测试程序，采用良好拟合（Goodness-of-Fit, GoF）测试检查每个用户查询的相关性，以检测知识相关性较低的查询。此外，我们开发了离线测试框架，用于检阅一组用户查询，旨在检测查询分布的显著变化，这表明知识语料库已不足以满足用户需求。我们通过在八个问答（QA）数据集上的系统评估展示了这些策略的能力，结果表明，新的测试框架是提升现有RAG系统可靠性的有效解决方案。
引用
@article{arxiv.2410.08320,
title = {Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation},
author = {Zhuohang Li and Jiaxin Zhang and Chao Yan and Kamalika Das and Sricharan Kumar and Murat Kantarcioglu and Bradley A. Malin},
journal= {arXiv preprint arXiv:2410.08320},
year = {2024}
}