CARE：将大语言模型转化为因果推理专家
机器学习
2025-11-21 v1 人工智能
摘要
大语言模型(LLM)最近在各种推理和生成任务中展现出惊人的能力。然而，研究表明LLM缺乏识别因果关系的能力，这是人类智慧的基本基石。我们首先对LLM在执行因果发现任务时的行为进行探索性调查，发现其主要依赖变量名的语义意义，忽略观察数据。这并不令人惊讶，因为LLM从未被训练处理结构化数据集。为应对这一挑战，我们提示LLM使用专为观察数据集设计的既定因果发现算法的输出。这些算法输出实际上作为观察数据的充分统计量。然而，令人惊讶的是，我们发现将这些充分统计量作为提示会降低LLM在因果发现中的表现。为解决这一局限，本文提出CARE框架，通过监督微调使LLM能够有效利用既定因果发现算法的输出。实验结果表明，使用CARE微调的Qwen2.5-1.5B模型在性能上显著优于传统因果发现算法和参数数量超过千万的领先LLM，有效利用自身知识和外部算法线索。
引用
@article{arxiv.2511.16016,
title = {CARE: Turning LLMs Into Causal Reasoning Expert},
author = {Juncheng Dong and Yiling Liu and Ahmed Aloui and Vahid Tarokh and David Carlson},
journal= {arXiv preprint arXiv:2511.16016},
year = {2025}
}