大语言模型推理错误源于对关键问题特征的幻觉
机器学习
2025-10-13 v3 人工智能
摘要
大语言模型最近通过链律思考 (CoT) 策略借助强化学习实现了在推理任务上的显著性能提升;然而,这些"reasoning large language models" (RLLMs) 仍是不完美的推理者,了解其 failure 模式的频率和原因对用户和开发者都很重要。我们测试 o1-mini、o3-mini、DeepSeek-R1、Claude 3.7 Sonnet、Gemini 2.5 Pro Preview 和 Grok 3 Mini Beta 在图着色作为可变复杂性约束满足逻辑问题上的表现,发现通过 error rate 比较和 CoT/解释文本分析, RLLMs 容易对 prompt 中未指定的图边进行幻觉。这一现象在多个问题复杂性水平和语义框架中持续存在,并且它似乎解释了每个测试模型中大部分不正确答案的来源,以及某些模型中绝大多数不正确答案的来源。我们还通过小规模实验验证了这种 input-conflicting 幻觉现象在另一种稳定匹配问题中的普遍性。我们的结果表明,RLLMs 可能存在更广泛的问题,即误表示问题具体细节,我们提供了缓解这一弱点的设计选择建议。
引用
@article{arxiv.2505.12151,
title = {Reasoning Large Language Model Errors Arise from Hallucinating Critical Problem Features},
author = {Alex Heyman and Joel Zylberberg},
journal= {arXiv preprint arXiv:2505.12151},
year = {2025}
}
备注
19 pages (9 excluding references and appendices); 9 figures (6 excluding appendices)