大语言模型中相似性判断的上下文效应研究

大语言模型 (LLM) 彻底改变了 AI 模型理解和生成自然语言文本的能力。它们正越来越多地被用于赋能和部署在真实场景中做出决策并采取行动的智能体。因此，研究人员、政策制定者和企业都在致力于确保这些智能体做出的决策与人类价值观和用户期望保持一致。尽管如此，人类价值观和决策并不总是易于衡量，且会受到不同认知偏差的影响。行为科学领域有大量文献研究人类判断中的偏差。在这项工作中，我们报告了一项关于受顺序偏差影响的人类判断与 LLM 对齐的持续研究。具体而言，我们聚焦于一项著名的人类研究，该研究展示了相似性判断中的顺序效应，并用多种流行的 LLM 对其进行了复现。我们报告了 LLM 表现出类人类顺序效应偏差的不同设置，并讨论了这些发现对 LLM 基础应用设计与开发的启示。