LettuceDetect：面向 RAG 应用的幻觉检测框架
计算与语言
2025-02-25 v1 人工智能
摘要
尽管引入了外部知识源，检索增强生成（RAG）系统仍然容易产生幻觉答案。我们提出了 LettuceDetect，这是一个解决现有幻觉检测方法两个关键局限性的框架：(1) 传统基于编码器方法的上下文窗口限制，以及 (2) 基于 LLM 的方法的计算低效。基于 ModernBERT 扩展的上下文能力（最多 8k tokens）并在 RAGTruth 基准数据集上进行训练，我们的方法优于所有先前的基于编码器的模型和大多数基于提示的模型，同时比最佳模型小约 30 倍。LettuceDetect 是一个处理上下文-问题-答案三元组的词元分类模型，允许在词元级别识别不受支持的主张。在 RAGTruth 语料库上的评估表明，其示例级检测的 F1 分数为 79.22%，比之前最先进的基于编码器的架构 Luna 提高了 14.8%。此外，该系统在单 GPU 上每秒可处理 30 到 60 个示例，使其更适用于真实的 RAG 应用。
关键词
引用
@article{arxiv.2502.17125,
title = {LettuceDetect: A Hallucination Detection Framework for RAG Applications},
author = {Ádám Kovács and Gábor Recski},
journal= {arXiv preprint arXiv:2502.17125},
year = {2025}
}
备注
6 pages