分析 LLM 与 LRM 推理过程中的因果结构：相关还是因果？
人工智能
2025-09-23 v1
摘要
LLM 因缺乏稳健的因果基础并可能依赖表面相关性而非真正理解，在推理方面存在不忠实、偏见和不一致性等关键问题。后续 LRMs 作为一种有前景的替代方案，利用强化学习 (RL) 和蒸馏等高级训练技术以提高任务准确性。然而，这些训练方法对因果性的影响仍鲁然未知。在本研究中，我们对 LLMs 和 LRMs 进行系统性因果分析，检查四个关键变量的问题指令 (Z)、思维过程 (T)、推理步骤 (X) 和答案 (Y) 的结构因果模型 (SCM)。我们的发现表明，RLVR 训练的 LRMs 在因果推理能力上得到增强，更接近理想的因果结构，而 LLMs 和蒸馏 LRMs 未能解决与因果性相关的缺陷。进一步的调查表明，RLVR 减少了虚假相关性，加强了真正的因果模式，从而缓解了不忠实和偏见。此外，我们检查了 RLVR 训练过程的动态，观察到减少虚假特征与改进因果结构之间存在很高相关性，其中因果关系在训练过程中持续改进。该研究促进了对推理模型中因果性的理解，凸显了 RLVR 在增强因果推理中的关键作用，并为设计更强有力的因果基础的未来 AI 系统提供了见解。我们在 https://github.com/Harryking1999/CoT_Causal_Analysis 上发布了代码和数据。
引用
@article{arxiv.2509.17380,
title = {Correlation or Causation: Analyzing the Causal Structures of LLM and LRM Reasoning Process},
author = {Zhizhang FU and Guangsheng Bao and Hongbo Zhang and Chenkai Hu and Yue Zhang},
journal= {arXiv preprint arXiv:2509.17380},
year = {2025}
}