LLM 生成答案的词汇级别幻觉检测
计算与语言
2025-04-29 v1
摘要
检测 LLM 生成答案中的幻觉词汇对于提高事实一致性至关重要。本文为 SemEval-2025 共享任务提出一种基于词汇级别的幻觉检测框架，关注英语和阿拉伯语文本。我们的 метод将答案通过语义角色标注 (SRL) 分解为原子角色，然后与通过基于问题的 LLM 提示获取的检索参考上下文进行比较。使用基于 DeBERTa 的文本蕴含模型，对每个角色的语义对齐进行评估。蕴含得分进一步通过从输出逻辑 logits 中派生的 token 级别置信度进行细化，合并后的得分用于检测幻觉词汇。在 Mu-SHROOM 数据集上进行实验，显示出具竞争性能。此外，通过对幻觉词汇进行事实核查验证（使用 GPT-4 和 LLaMA 提示），我们的结果为改进 LLM 生成响应的幻觉检测作出了贡献。
引用
@article{arxiv.2504.18639,
title = {Span-Level Hallucination Detection for LLM-Generated Answers},
author = {Passant Elchafei and Mervet Abu-Elkheir},
journal= {arXiv preprint arXiv:2504.18639},
year = {2025}
}