推理陷阱：增强 LLM 推理能力如何放大工具幻觉
机器学习
2026-04-20 v2 人工智能
摘要
增强大型语言模型（LLM）的推理能力是构建“思考后行动”智能体的关键策略。然而，近期观察（如 OpenAI 的 o3）指出存在一个悖论：更强的推理能力往往伴随着幻觉的增加，然而目前尚无研究系统性地探讨推理增强是否本身会导致工具幻觉。为填补这一空白，我们提出核心问题：强化推理是否会增加工具幻觉？为回答此问，我们引入 SimpleToolHalluBench—a 一个诊断性基准，衡量工具幻觉的两种失效模式：(i) 无可用工具，和 (ii) 仅有干扰性工具可用。通过控制实验，我们确立了三个关键发现。首先，我们证明了因果关系：通过强化学习（RL）逐步增强推理能力，工具幻觉按比例增加，同时任务性能也随之提升。其次，这一效应超越了过拟合问题——训练于非工具任务（如数学）仍会放大后续的工具幻觉。第三，此效应对方法不可知，无论是通过监督式微调来植入推理，还是仅通过推断阶段从直接回答切换到分步思考来诱发推理，都会引发工具幻觉。我们还评估了包括提示工程（Prompt Engineering）和直接偏好优化（Direct Preference Optimization, DPO）在内的缓解策略，揭示了一种根本的可靠性-能力权衡：降低幻觉始终会降低实用性。机制上，推理 RL 不成比例地压缩了与工具可靠性相关的表征，幻觉则表现为在后期残差流中集中放大的分布性差异。这一发现表明当前的推理增强方法本质上会放大工具幻觉，凸显了需要新的训练目标以同时优化能力与可靠性的必要性。
引用
@article{arxiv.2510.22977,
title = {The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination},
author = {Chenlong Yin and Zeyang Sha and Shiwen Cui and Changhua Meng and Zechao Li},
journal= {arXiv preprint arXiv:2510.22977},
year = {2026}
}
备注
Accepted to ACL 2026 Main