党派群体的智慧：人类与基于 LLM 的智能体中的集体智能比较
计算与语言
2024-02-19 v2
摘要
人类群体能够通过 deliberation 收敛到更准确的信念，即使在存在极化与党派偏见的情况下——这一现象被称为“党派群体的智慧”。由大型语言模型（LLM）驱动的生成的智能体正日益被用于模拟人类集体行为，但很少有基准用于将其动态与人类群体的行为进行评估。在本文中，我们考察了在被提示扮演党派角色（如民主党人或共和党人）的基于 LLM 的智能体群体中，党派群体的智慧在多大程度上会出现。我们发现它们不仅表现出类人的党派偏见，而且像人类一样通过 deliberation 收敛到更准确的信念。随后我们确定了若干干扰收敛的因素，包括思维链提示的使用以及角色描述缺乏细节。相反，基于人类数据微调似乎能增强收敛。这些发现展示了基于 LLM 的智能体作为人类集体智能模型的潜力与局限。
引用
@article{arxiv.2311.09665,
title = {The Wisdom of Partisan Crowds: Comparing Collective Intelligence in Humans and LLM-based Agents},
author = {Yun-Shiuan Chuang and Siddharth Suresh and Nikunj Harlalka and Agam Goyal and Robert Hawkins and Sijia Yang and Dhavan Shah and Junjie Hu and Timothy T. Rogers},
journal= {arXiv preprint arXiv:2311.09665},
year = {2024}
}