LLM 初始化的可微分因果发现
机器学习
2024-10-29 v1 机器学习
摘要
发现随机变量之间的因果关系是一个重要但具有挑战性的问题，在众多科学领域都有应用。可微分因果发现 (DCD) 方法能有效地从观测数据中发现因果关系；然而，这些方法通常存在可解释性有限的问题，并且在融入特定领域的先验知识方面面临挑战。相比之下，基于大型语言模型 (LLMs) 的因果发现方法最近被证明能够为因果发现提供有用的先验，但在形式化因果推理方面存在困难。在本文中，我们提出了 LLM-DCD，它使用 LLM 来初始化 DCD 方法的最大似然目标函数的优化过程，从而将强先验融入发现方法中。为了实现这种初始化，我们将目标函数设计为仅依赖于因果图的显式定义的邻接矩阵作为其唯一的变分参数。直接优化显式定义的邻接矩阵为因果发现提供了一种更具可解释性的方法。此外，我们在关键基准数据集上证明了我们的方法相比最先进的替代方案具有更高的准确性，并提供了经验证据表明初始化的质量直接影响我们 DCD 方法最终输出的质量。LLM-DCD 为 DCD 等传统因果发现方法从 LLM 因果推理能力的未来改进中受益开辟了新的机会。
引用
@article{arxiv.2410.21141,
title = {LLM-initialized Differentiable Causal Discovery},
author = {Shiv Kampani and David Hidary and Constantijn van der Poel and Martin Ganahl and Brenda Miao},
journal= {arXiv preprint arXiv:2410.21141},
year = {2024}
}