检索增强生成中针对争议话题的幻觉与覆盖错误检测
计算与语言
2024-03-15 v1
摘要
我们探索了一种基于维基百科中立观点 (NPOV) 原则来处理基于 LLM 的聊天机器人中争议话题的策略：承认不存在单一真实答案并呈现多种观点。我们将其构建为检索增强生成，其中从知识库中检索观点，LLM 负责根据给定观点生成流畅且忠实的回复。作为起点，我们使用确定性检索系统，然后重点关注在这种文本生成方法中出现的常见 LLM 失败模式，即幻觉和覆盖错误。我们提出并评估了三种基于 (1) 词重叠、(2) 显著性和 (3) 基于 LLM 的分类器的方法来检测此类错误。我们的结果表明，基于 LLM 的分类器即使仅在合成错误上训练，也能实现高错误检测性能，在明确的错误案例中，幻觉和覆盖错误检测的 ROC AUC 分数分别为 95.3% 和 90.5%。我们表明，当没有训练数据可用时，我们的其他方法在幻觉 (84.0%) 和覆盖错误 (85.2%) 检测上仍能产生良好结果。
引用
@article{arxiv.2403.08904,
title = {Detecting Hallucination and Coverage Errors in Retrieval Augmented Generation for Controversial Topics},
author = {Tyler A. Chang and Katrin Tomanek and Jessica Hoffmann and Nithum Thain and Erin van Liemt and Kathleen Meier-Hellstern and Lucas Dixon},
journal= {arXiv preprint arXiv:2403.08904},
year = {2024}
}
备注
Accepted at LREC-COLING 2024