通用因果推理器
计算与语言
2026-05-26 v1 人工智能
机器学习
摘要
尽管因果推理的重要性不容小觑，但训练大语言模型进行因果推理仍属未充分探索的领域。现有数据努力大多专注于对因果推理的特定方面进行基准测试，使其不太适合训练可通用化的因果推理器。为此，我们提出了 UniCo，这是一种数据生成框架，既（1）覆盖帕尔（Pearl）因果梯阶中的 18 种因果查询类型，又（2）将符号示例原生翻译为代码和自然语言形式，以模拟因果术语未被显式指定的真实场景。为确保数据质量，UniCo 以精确的因果推理为答案依据，并筛选出包含推理捷径的案例。Upon 在 66.6K 个 UniCo 生成的实例进行监督式微调后，Qwen3-4B、Qwen3-8B 和 Olmo-3-7B-Instruct 在所有 18 种分布内查询类型上实现平均 22.9% 的提升，并在训练分布外的 7 个既有因果基准测试中超越最先进的因果数据生成框架 8.1%。更重要的是，在真实世界的医学理解、法律决策和表格推理中，UniCo 训练模型 consistently display more 符合性推理痕迹，在可信度指标上平均比基础模型高出 20.2%。这些结果表明，因果导向的训练不仅强化了因果推理，还为大语言模型在一般推理任务中提供了因果思维方式。
引用
@article{arxiv.2605.24873,
title = {Towards a Universal Causal Reasoner},
author = {Qirun Dai and Xiao Liu and Jiawei Zhang and Dylan Zhang and Hao Peng and Chenhao Tan},
journal= {arXiv preprint arXiv:2605.24873},
year = {2026}
}