利用大语言模型发现并推理隐藏世界中的因果关系
摘要
揭示隐藏因果变量及其潜在的因果机制对于科学发展至关重要。尽管过去几十年取得了进展，但现有的因果发现 (CD) 实践严重依赖于高质量的可测变量，而这些变量通常由人类专家提供。事实上，非结构化数据背后缺乏定义明确的高层变量一直是阻碍 CD 在更广泛现实世界应用的长期障碍。这一过程自然可以从能够建议系统中潜在隐藏变量的自动化流程中受益。有趣的是，大语言模型 (LLMs) 是在对世界的大量观测数据上训练而成的，并展现出处理非结构化数据的强大能力。为了利用 LLMs 的力量，我们开发了一个名为因果表示助手 (Causal representatiOn AssistanT, COAT) 的新框架，该框架结合 LLMs 丰富的世界知识，针对成对非结构化数据上的高价值目标变量，为 CD 提出有用的可测变量。COAT 并非直接使用 LLMs 推断因果关系，而是构建来自中间 CD 结果的反馈给 LLMs，以优化所提出的变量。给定目标变量和成对的非结构化数据，我们首先开发了 COAT-MB，它利用所提出变量的预测能力迭代地 uncover 目标变量的马尔可夫毯 (Markov Blanket)。在 COAT-MB 的基础上，COAT-PAG 进一步扩展，通过遍历目标变量并积极寻找新的高层变量，来 uncover 更完整的因果图，即部分祖先图 (Partial Ancestral Graph)。此外，COAT 可靠的 CD 能力还通过发现调整集，将去偏因果推断扩展到了非结构化数据。我们为 CD 结果建立了理论保证，并在现实基准和真实案例研究中验证了其效率和可靠性。
引用
@article{arxiv.2402.03941,
title = {Discovering and Reasoning of Causality in the Hidden World with Large Language Models},
author = {Chenxi Liu and Yongqiang Chen and Tongliang Liu and Mingming Gong and James Cheng and Bo Han and Kun Zhang},
journal= {arXiv preprint arXiv:2402.03941},
year = {2025}
}
备注
Extended version of our previous NeurIPS'24 conference paper (arXiv:2402.03941(2)); Chenxi and Yongqiang contributed equally; 78 pages, 44 figures; Project page: https://causalcoat.github.io/discovering-and-reasoning