RAG中幻觉检测的回溯式测试与层次化验证
计算与语言
2026-03-31 v1 软件工程
摘要
大语言模型（LLM）在检索增强生成（RAG）中持续产生幻觉，生成不受检索上下文支持或与检索上下文矛盾的声明。当忠实性仅相对于检索上下文进行评估时，检测此类错误仍然具有挑战性。现有方法要么提供粗粒度的答案级评分，要么聚焦于开放域事实性，通常缺乏细粒度的、基于证据的诊断。我们提出了RT4CHART，一种用于上下文忠实性评估的回溯式测试框架。RT4CHART将模型输出分解为独立可验证的声明，并针对检索上下文执行从局部到全局的层次化验证。每个声明被赋予三个标签之一：蕴含、矛盾或无依据。此外，RT4CHART将声明级决策映射回特定的答案片段，并从上下文中检索显式的支持或反驳证据，从而实现细粒度且可解释的审计。我们在RAGTruth++（408个样本）和RAGTruth-Enhance（2,675个样本，一个新重新标注的基准）上评估了RT4CHART。RT4CHART在所有基线中取得了最佳的答案级幻觉检测F1分数。在RAGTruth++上，它达到了0.776的F1分数，超越了最强基线83%。在RAGTruth-Enhance上，它实现了47.5%的片段级F1分数。消融研究表明，层次化验证设计是性能提升的主要驱动力。最后，我们的重新标注揭示了比原始标签多1.68倍的幻觉案例，表明现有基准大幅低估了幻觉的普遍程度。
引用
@article{arxiv.2603.27752,
title = {Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG},
author = {Boxi Yu and Yuzhong Zhang and Liting Lin and Lionel Briand and Emir Muñoz},
journal= {arXiv preprint arXiv:2603.27752},
year = {2026}
}