Osiris：轻量级开源幻觉检测系统
计算与语言
2025-05-09 v1
摘要
检索增强生成（RAG）系统因利用真实来源，使大型语言模型（LLM）能够生成更具事实依据的响应而广泛应用于应用构建器。然而，幻觉——即LLM响应对提供的上下文不忠实的实例——常常阻碍这些系统在生产环境中的部署。当前的幻觉检测方法通常涉及人工评估或使用闭源模型来审查RAG系统输出中的幻觉。人工评估者和闭源模型因高成本和推理速度慢而面临规模化问题。本文介绍了一个引入幻觉的扰动多跳问答数据集。通过在我们的数据集上进行监督式微调，我们在RAGTruth幻觉检测基准上，以7B模型实现了比GPT-4o更好的召回率，同时在精度和准确性方面表现具有竞争力，所需参数数量仅为原来的一小部分。代码已在我们的仓库中发布。
关键词
引用
@article{arxiv.2505.04844,
title = {Osiris: A Lightweight Open-Source Hallucination Detection System},
author = {Alex Shan and John Bauer and Christopher D. Manning},
journal= {arXiv preprint arXiv:2505.04844},
year = {2025}
}
备注
Stanford 191W