KnowHalu：基于多形式知识的幻觉检测事实核查
计算与语言
2024-04-05 v1 人工智能
机器学习
摘要
本文介绍了 KnowHalu，一种检测大语言模型（LLMs）生成文本中幻觉的新方法，该方法利用逐步推理、多形式查询、多形式知识进行事实核查以及基于融合的检测机制。随着 LLMs 越来越多地应用于各个领域，确保其输出不产生幻觉至关重要。认识到现有方法的局限性——要么依赖 LLMs 的自一致性检查，要么在不考虑查询复杂性或知识形式的情况下进行事后事实核查——KnowHalu 提出了一种两阶段的幻觉检测过程。在第一阶段，它识别非捏造幻觉——即虽然事实上正确，但与查询无关或不具体的回答。第二阶段，基于多形式的事实核查，包含五个关键步骤：推理与查询分解、知识检索、知识优化、判断生成和判断聚合。我们的广泛评估表明，KnowHalu 在检测各种任务的幻觉方面显著优于 SOTA 基线，例如在 QA 任务中提高了 15.65%，在摘要任务中提高了 5.50%，突出了其在检测 LLM 生成内容幻觉方面的有效性和通用性。
引用
@article{arxiv.2404.02935,
title = {KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking},
author = {Jiawei Zhang and Chejian Xu and Yu Gai and Freddy Lecue and Dawn Song and Bo Li},
journal= {arXiv preprint arXiv:2404.02935},
year = {2024}
}