探索大语言模型智能体的协作机制:社会心理学视角
计算与语言
2024-05-28 v3 人工智能
计算机与社会
机器学习
多智能体系统
摘要
随着自然语言处理(NLP)系统日益应用于复杂的社会环境中,一个紧迫的问题浮现出来:在由多个大语言模型(LLM)构成的多智能体社会中,这些 NLP 系统能否映射出类人的协作智能?本文通过融合实践实验与理论洞察,探究当代 NLP 系统之间的协作机制。我们构建了四个由 LLM 智能体组成的独特“社会”,其中每个智能体具有特定的“特质”(随和或过度自信),并以独特的“思维模式”(辩论或反思)进行协作。通过在三个基准数据集上评估这些多智能体社会,我们识别出某些协作策略不仅超越了以往的顶级方法,还优化了效率(使用更少的 API token)。此外,我们的结果进一步表明,LLM 智能体展现出类人的社会行为,例如从众与达成共识,这与基础社会心理学理论相呼应。最后,我们结合社会心理学见解对 LLM 智能体的协作进行语境化,启发对 LLM 协作机制的进一步探究。我们承诺分享我们的代码与数据集\footnote{\url{https://github.com/zjunlp/MachineSoM}.},希望促进这一有前景方向的进一步研究。
引用
@article{arxiv.2310.02124,
title = {Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View},
author = {Jintian Zhang and Xin Xu and Ningyu Zhang and Ruibo Liu and Bryan Hooi and Shumin Deng},
journal= {arXiv preprint arXiv:2310.02124},
year = {2024}
}
备注
ACL 2024 Main Conference. 64 pages (8 main), 70 figures, 37 tables. Blog: https://www.zjukg.org/project/MachineSoM