基于上下文检索的ORION方法用于检测幻觉
机器学习
2025-05-23 v3
摘要
尽管在 grounded 内容生成方面取得了进展，基于大型语言模型（LLM）的生产应用程序仍然会受到幻觉答案的影响。我们提出了“Grounded in Context”——Deepchecks ORION（Output Reasoning-based InspectiON）系列轻量级评估模型的成员。这是我们的框架，用于幻觉检测，旨在适用于生产规模的长上下文数据，针对各种用例进行优化，包括摘要、数据提取和RAG。受RAG架构启发，我们的方法集成了检索和自然语言推理（NLI）模型，使用仅具有512个标记上下文窗口的编码器模型预测前提与假设之间的事实一致性。我们的框架在RAGTruth的响应级分类任务中以0.83的F1分数识别 unsupported claims，匹配在数据集上进行训练的方法，并且优于所有使用相似规模模型的类似框架。
引用
@article{arxiv.2504.15771,
title = {ORION Grounded in Context: Retrieval-Based Method for Hallucination Detection},
author = {Assaf Gerner and Netta Madvil and Nadav Barak and Alex Zaikman and Jonatan Liberman and Liron Hamra and Rotem Brazilay and Shay Tsadok and Yaron Friedman and Neal Harow and Noam Bressler and Shir Chorev and Philip Tannor},
journal= {arXiv preprint arXiv:2504.15771},
year = {2025}
}