以答案为中心还是推理驱动？揭示 LLM 中的潜在记忆锚点
计算与语言
2025-06-24 v1
摘要
尽管大型语言模型（LLM）展现出令人印象深刻的推理能力，但越来越多的证据表明，其成功很大程度上源于记忆的答案-推理模式而非真正的推断。在本工作中，我们研究了一个核心问题：LLM 主要锚定于最终答案还是推理链的文本模式？我们提出了一个五级答案可见性提示框架，该框架系统地操纵答案线索，并通过间接的行为分析来探测模型行为。在最先进的 LLM 上的实验揭示了对显式答案的强烈且一致的依赖。当答案线索被掩盖时，即使有完整的推理链，性能也下降了 26.90%。这些发现表明，LLM 表现出的许多推理可能反映的是事后合理化而非真正的推断，这对其推断深度提出了质疑。我们的研究通过严格的实证验证揭示了答案锚定现象，并强调了对 LLM 中什么构成推理进行更细致理解的必要性。
引用
@article{arxiv.2506.17630,
title = {Answer-Centric or Reasoning-Driven? Uncovering the Latent Memory Anchor in LLMs},
author = {Yang Wu and Yifan Zhang and Yiwei Wang and Yujun Cai and Yurong Wu and Yuran Wang and Ning Xu and Jian Cheng},
journal= {arXiv preprint arXiv:2506.17630},
year = {2025}
}
备注
14 pages, 8 figures