语言智能体镜像人类因果推理偏见。我们如何帮助它们像科学家一样思考?
人工智能
2025-10-07 v3 计算与语言
摘要
语言模型(LM)智能体越来越被用作需要主动收集信息以指导其决策的自主决策者。对于此类智能体而言,高效地探索和理解世界因果结构的能力是关键技能,这有助于进行稳健、基于科学的推理。然而,目前尚不清楚 LM 是否具备这一能力,或是否表现出导致错误结论的系统性偏见。在本工作中,我们使用发展心理学中已建立的Blicket Test范式来检验 LM 推断因果关系的能力。我们发现,LM 可靠地推断出常见的、直观的析取性因果关系,但在处理不寻常且同样(或有时更)有证据的合取性因果关系时则系统性地困难。这种"析取偏差"在不同模型家族、规模和提示策略之间都持续存在,随着任务复杂度的增加,性能进一步下降。有趣的是,类似的偏差也出现在成年人类身上,表明 LM 可能从其训练数据中继承了深植的推理启发式方法。为此,我们量化了 LM 与人类的相似性,发现 LM 表现出类似成年人的推理轮廓(但不呈现儿童般的)。最后,我们提出一种测试时采样方法,该方法显式地采样并消除关于因果关系的假设。这种可扩展的方法显著减少了析取偏差,使 LM 更接近科学、严谨的因果推理目标。
引用
@article{arxiv.2505.09614,
title = {Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists?},
author = {Anthony GX-Chen and Dongyan Lin and Mandana Samiei and Doina Precup and Blake A. Richards and Rob Fergus and Kenneth Marino},
journal= {arXiv preprint arXiv:2505.09614},
year = {2025}
}
备注
Conference on Language Modelling (COLM) 2025, Camera Ready