AI的心理学——原位效应是否影响ChatGPT等大语言模型？
计算与语言
2025-04-30 v1 人工智能
摘要
我们研究了原位效应在三家商业大语言模型（LLM）中的表现：ChatGPT、Gemini和Claude。我们利用Asch (1946)使用人类受试者进行的经典实验进行改造。实验简单：给定两个描述相等的备选项，若一个备选项的描述在正面形容词之后出现负面形容词，而另一个备选项的描述在负面形容词之后出现正面形容词，则哪一个更受偏好。我们进行了两个实验。在一个实验中，LLMs同时接收两个备选项，另一个实验中，LLMs分别接收两个备选项。我们对所有模型使用200组备选项进行测试。我们发现，在第一个实验中，ChatGPT偏好正面形容词列在前的备选项，而Gemini在两者之间几乎没有偏好。Claude拒绝做出选择。在第二个实验中，ChatGPT和Claude最可能将两个备选项评为相等。若未给出相等评分，两者都表现出对负面形容词列在前的备选项有明确偏好。Gemini最可能偏好负面形容词列在前的备选项。
引用
@article{arxiv.2504.20444,
title = {On Psychology of AI -- Does Primacy Effect Affect ChatGPT and Other LLMs?},
author = {Mika Hämäläinen},
journal= {arXiv preprint arXiv:2504.20444},
year = {2025}
}