通过双进程思考减少幻觉：基于快速和缓慢思考的幻觉缓解方法
计算与语言
2025-01-06 v2
摘要
大型语言模型 (LLMs) 具有卓越的能力，但仍面临幻觉问题。典型的文本生成方法采用自回归生成而不进行明确推理，常导致结果不可信且事实不准确。在本文中，我们提出 HaluSearch，一种新型框架，融合树状搜索算法 (如 MCTS) 以在推理过程中实现显式的缓慢思考，从而缓解 LLMs 在推理期间的幻觉问题。具体而言，HaluSearch 将文本生成框架构为逐步推理过程，使用自评估奖励模型为每个生成步骤评分，并引导树状搜索走向最可靠的生成路径，以充分利用 LLMs 的内部知识。为平衡效率与质量，我们引入一种受认知科学中双进程理论启发的层次化思考系统切换机制，在 instance 和 step 级别动态在快速和缓慢思考模式之间切换，适应问题的复杂性和推理状态。我们在 English 和 Chinese 数据集上进行大规模实验，结果表明该方法显著优于基线方法。
引用
@article{arxiv.2501.01306,
title = {Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking},
author = {Xiaoxue Cheng and Junyi Li and Wayne Xin Zhao and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2501.01306},
year = {2025}
}