别让它幻觉：基于检索增强的前提验证逻辑推理
计算与语言
2026-02-18 v2 人工智能
摘要
大型语言模型 (LLM) 在生成流畅、情境恰当的响应方面显示出巨大的能力。然而，当用户查询包含一个或多个与既定事实相矛盾的虚假前提时，LLM 可能会产生幻觉输出。此类前提可能误导 LLM，导致其提供虚构或误导性细节。现有方法包括预训练、微调和推理阶段的技术，常依赖 logits 或在幻觉发生后进行处理。这些方法往往计算昂贵、需要大量训练数据，或缺乏主动防止生成前幻觉的机制，限制了其在实时应用中的效率。我们提出一种基于检索的框架，在生成前识别并处理虚假前提。该方法首先将用户查询转化为逻辑表示，然后应用检索增强生成 (RAG) 来评估每个前提的有效性，最终将验证结果整合到 LLM 的提示词中，以维持最终输出的事实一致性。实验表明，该方法有效减少了幻觉现象，提高了事实准确性，且无需访问模型 logits 或大规模微调。
引用
@article{arxiv.2504.06438,
title = {Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning},
author = {Yuehan Qin and Shawn Li and Yi Nian and Xinyan Velocity Yu and Yue Zhao and Xuezhe Ma},
journal= {arXiv preprint arXiv:2504.06438},
year = {2026}
}
备注
TMLR 2026