SAC3：基于语义感知交叉检验一致性的黑盒语言模型可靠幻觉检测方法
计算与语言
2024-02-20 v2
摘要
幻觉检测是理解现代语言模型（LMs）可信度的关键一步。为实现这一目标，我们重新审视了基于 LM 自一致性的现有检测方法，并揭示了两类无法仅通过自一致性检验有效识别的幻觉，分别源于 1) 问题层面和 2) 模型层面。基于该发现，我们提出了一种新颖的基于采样的方法，即语义感知交叉检验一致性（SAC3），其扩展了自一致性检验的原理。我们的 SAC3 方法结合了额外机制，通过利用语义等价问题扰动与跨模型响应一致性检验等进展，检测问题层面与模型层面的幻觉。通过广泛而系统的实证分析，我们证明 SAC3 在多个问答与开放域生成基准上检测非事实与事实性陈述方面均优于当前最优方法（SOTA）。
引用
@article{arxiv.2311.01740,
title = {SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency},
author = {Jiaxin Zhang and Zhuohang Li and Kamalika Das and Bradley A. Malin and Sricharan Kumar},
journal= {arXiv preprint arXiv:2311.01740},
year = {2024}
}
备注
EMNLP 2023