HalluDetect：面向法律领域对话系统中检测、缓解与基准测试幻觉现象
计算与语言
2025-10-14 v2
摘要
大语言模型（Large Language Model, LLM）在工业界广泛应用，但仍 prone to 幻觉，限制了其在关键应用中的可靠性。本 work 聚焦于基于 LLaMA 3.1 8B Instruct 构建的消费者投诉聊天机器人中的幻觉降低问题。我们开发了 HalluDetect，一种基于 LLM 的幻觉检测系统，实现F1分数68.92%，显著优于基线检测器的22.47%。我们对五种幻觉缓解架构进行基准测试，发现其中 AgentBot 能将幻觉降低至每次对话0.4159，同时保持最高的标记准确率（96.13%），成为最有效的缓解策略。我们的发现提供了可扩展的幻觉缓解框架，表明优化的推理策略可显著提升事实准确性。
引用
@article{arxiv.2509.11619,
title = {HalluDetect: Detecting, Mitigating, and Benchmarking Hallucinations in Conversational Systems in the Legal Domain},
author = {Spandan Anaokar and Shrey Ganatra and Harshvivek Kashid and Swapnil Bhattacharyya and Shruti Nair and Reshma Sekhar and Siddharth Manohar and Rahul Hemrajani and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2509.11619},
year = {2025}
}
备注
7 pages + references + appendix, 3 figures, 3 tables