Halu-J：基于批判性的幻觉判断器
计算与语言
2024-07-19 v1 人工智能
摘要
大型语言模型（LLM）经常生成非事实内容，称为幻觉。现有的基于检索增强的幻觉检测方法通常将其建模为分类任务，基于其与检索证据的一致性来评估幻觉。然而，这种方法通常缺乏对这些评估的详细解释，也不评估这些解释的可靠性。此外，检索系统的缺陷可能导致检索到不相关或部分相关的证据，从而影响检测过程。此外，虽然现实世界的幻觉检测需要分析多 piece of evidence（证据），但当前系统通常对所有证据统一处理，而不考虑其与内容相关性。为解决这些挑战，我们引入了 Halu-J——一个具有 70 亿参数的批判性幻觉判断器。Halu-J 通过选择相关证据并提供详细批判来增强幻觉检测。我们的实验表明，Halu-J 在多证据幻觉检测方面优于 GPT-4o，在批判生成和证据选择方面与 GPT-4o 相当。我们还引入了 ME-FEVER 一个新的用于多证据幻觉检测的数据集。我们的代码和数据集可在 https://github.com/GAIR-NLP/factool 查看。
引用
@article{arxiv.2407.12943,
title = {Halu-J: Critique-Based Hallucination Judge},
author = {Binjie Wang and Steffi Chern and Ethan Chern and Pengfei Liu},
journal= {arXiv preprint arXiv:2407.12943},
year = {2024}
}