UFO在推动创新吗？大型语言模型中的因果错觉
人工智能
2024-10-16 v1 计算与语言
机器学习
摘要
当人们在没有任何支持证据的情况下发展出两个变量之间存在因果联系的信念时，就会产生因果错觉。这种认知偏差被认为是许多社会问题的基础，包括社会偏见、刻板印象形成、错误信息和迷信思维。在这项研究中，我们调查了大型语言模型是否在现实世界环境中产生了因果错觉。我们评估并比较了由GPT-4o-Mini、Claude-3.5-Sonnet和Gemini-1.5-Pro生成的新闻标题，以确定模型是否错误地将相关性框定为因果关系。为了同时测量谄媚行为（即模型为了显得讨人喜欢而与用户信念保持一致，即使客观上不正确），我们还将偏差纳入提示中，观察这种操纵是否会增加模型表现出因果错觉的可能性。我们发现，Claude-3.5-Sonnet是与人类撰写的新闻稿中“相关到因果的夸大”实验相一致的因果错觉程度最低的模型。另一方面，我们的研究结果表明，虽然模仿性谄媚增加了这些模型中因果错觉的可能性，尤其是在GPT-4o-Mini中，但Claude-3.5-Sonnet仍然是抵御这种认知偏差最稳健的模型。
引用
@article{arxiv.2410.11684,
title = {Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models},
author = {María Victoria Carro and Francisca Gauna Selasco and Denise Alejandra Mester and Mario Alejandro Leiva},
journal= {arXiv preprint arXiv:2410.11684},
year = {2024}
}