将大语言模型集成到因果发现中：一种统计因果方法
机器学习
2025-05-13 v5 人工智能
统计方法学
机器学习
摘要
在实际的统计因果发现 (SCD) 中，将领域专家知识作为约束嵌入算法对于获得反映领域专家广泛知识的合理因果模型至关重要，尽管系统性地获取背景知识存在挑战。为了克服这些挑战，本文提出了一种新的因果推断方法，其中 SCD 和基于大语言模型 (LLM) 的知识驱动因果推断 (KBCI) 通过面向 LLM 的“统计因果提示 (SCP)”和面向 SCD 的先验知识增强被综合起来。本工作的实验表明，LLM-KBCI 以及用 LLM-KBCI 增强的 SCD 的结果比没有先验知识的 SCD 结果更接近真实情况。这些实验还表明，如果 LLM 经过 SCP，SCD 的结果可以得到进一步改善。此外，通过一个未发表的真实世界数据集，我们证明了即使该数据集从未包含在 LLM 的训练数据中，LLM 提供的背景知识也能改善对该数据集的 SCD。为了未来在医疗保健等重要领域实际应用此方法，我们还通过在不同条件下的成功和失败场景中进行 SCP 模拟，深入讨论了其局限性、严重错误的风险、LLM 相关技术的预期改进，以及将专家对结果的检查现实地集成到此自动化流程中的问题。因此，针对每个领域进行改进和定制，谨慎且恰当地应用本工作中提出的方法，可以应对数据集偏差和局限性等挑战，这说明了 LLM 在改善跨不同科学领域的数据驱动因果推断方面的潜力。本工作使用的代码可在以下网址公开获取：www.github.com/mas-takayama/LLM-and-SCD
引用
@article{arxiv.2402.01454,
title = {Integrating Large Language Models in Causal Discovery: A Statistical Causal Approach},
author = {Masayuki Takayama and Tadahisa Okuda and Thong Pham and Tatsuyoshi Ikenoue and Shingo Fukuma and Shohei Shimizu and Akiyoshi Sannai},
journal= {arXiv preprint arXiv:2402.01454},
year = {2025}
}