大语言模型是否充当因果知识的存储库？
计量经济学
2024-12-17 v1
摘要
大语言模型（LLM）有潜力自动化大量此前无法自动化的任务，包括科学领域的部分任务。目前存在相当大的兴趣，即LLM能否通过提供构建结构模型所需的因果联系信息来自动化因果推断过程。我们以Coronary Drug Project（CDP）中的混杂问题为例，该案例有若干列出专家精选混杂变量的研究，可作为基准真相。LLM在该设定下识别混杂变量的表现平平，即使关于基准真相的文本存在于其训练数据中。专家识别为混杂变量的变量被LLM标记为混杂变量的可能性，仅略高于专家认为非混杂变量的变量。此外，LLM对混杂状态的判断在模型、提示以及无关因素（如多选题选项顺序）之间高度不一致。LLM目前尚不具备自动化报告因果联系的能力。
引用
@article{arxiv.2412.10635,
title = {Do LLMs Act as Repositories of Causal Knowledge?},
author = {Nick Huntington-Klein and Eleanor J. Murray},
journal= {arXiv preprint arXiv:2412.10635},
year = {2024}
}
备注
8 figures, 27 pages