后训练能否将大语言模型转化为因果推理模型？
计算与语言
2026-02-09 v1 人工智能
机器学习
摘要
因果推断是 decision-making 中必不可少的，但对 non-expert 来说仍具有挑战性。虽然大语言模型 (LLM) 在该领域显示出前景，但其 precise causal estimation 能力仍有限，后训练对这些能力的影响尚未得到充分探索。本文考察了后训练在何种程度上可以增强 LLM 的因果推理能力。我们引入了 CauGym，一个包含七个核心因果任务用于训练和五个 diverse test 集的综合数据集。利用该数据集，我们系统性地评估了五种 post-training 方法：SFT、DPO、KTO、PPO 和 GRPO。在五个 in-domain 和四个现有基准测试中，我们的实验表明，合适的后训练使较小的 LLM 能够与因果推理竞争，常常超过 much larger 的模型。我们 14B 参数模型在 CaLM 基准测试中取得 93.5% 的准确率，而 OpenAI o3 仅为 55.4%。此外，后训练的 LLM 在 real-world 条件下表现出强大的 generalization 和 robust 性，包括 distribution shifts 和 noisy data。总体而言，这些发现首次为有针对性的后训练能够产生可靠且 robust 的 LLM-based 因果推理模型提供了系统性证据。我们的数据和 GRPO 模型可在 https://github.com/OpenCausaLab/CauGym 获取。
引用
@article{arxiv.2602.06337,
title = {Can Post-Training Transform LLMs into Causal Reasoners?},
author = {Junqi Chen and Sirui Chen and Chaochao Lu},
journal= {arXiv preprint arXiv:2602.06337},
year = {2026}
}