LLM 无法发现因果关系：在因果发现中应将其限制为非决策性辅助
机器学习
2025-06-03 v1
摘要
本文批判性地重新评估了 LLM 在因果发现中的作用，并反对让其直接参与确定因果关系。我们证明，LLM 自回归的、由相关性驱动的建模本质上缺乏因果推理的理论基础，当其作为因果发现算法的先验时会引入不可靠性。通过实证研究，我们揭示了现有基于 LLM 的方法的局限性，并表明刻意的提示工程(例如，注入真值知识)可能夸大其性能，这有助于解释当前大量文献中持续报告的有利结果。基于这些发现，我们严格将 LLM 的作用限制为非决策性辅助能力：LLM 不应参与确定因果关系的存在性或方向性，但可以辅助因果图的搜索过程(例如，基于 LLM 的启发式搜索)。跨各种设置的实验证实，通过将 LLM 严格隔离在因果决策之外，LLM 引导的启发式搜索能够加速收敛，并在因果结构学习中优于传统方法和基于 LLM 的方法。我们最后呼吁社区将焦点从天真地应用 LLM 转向开发尊重因果发现核心原则的专用模型和训练方法。
引用
@article{arxiv.2506.00844,
title = {LLM Cannot Discover Causality, and Should Be Restricted to Non-Decisional Support in Causal Discovery},
author = {Xingyu Wu and Kui Yu and Jibin Wu and Kay Chen Tan},
journal= {arXiv preprint arXiv:2506.00844},
year = {2025}
}