LIFELONG SOTOPIA：基于多回合交互评估语言智能体的社会智能
人工智能
2025-06-17 v1
摘要
人类通过在不同情境下与不同人物互动来实现不同社交目标，这需要社会智能在长期跨度内收集信息并有效地导航各种社交情境。是否具有类似能力的 AI 系统在现有研究中鲜有探讨。本文提出一种新基准 LIFELONG-SOTOPIA，用于通过模拟多回合交互对语言智能体进行全面评估。在每个回合中，语言智能体扮演角色以实现其各自的社交目标于随机抽取的社交任务中。通过 LIFELONG-SOTOPIA，我们发现所有测试的语言模型在整个交互过程中，其目标达成率和可信度都会下降。尽管使用高级记忆方法可改善智能体的性能，但最佳智能体在需要明确理解交互历史的情境下，仍实现的目标完成率显著低于人类。这些发现表明，我们可以利用 LIFELONG-SOTOPIA 来评估语言智能体在终身社交交互中的社会智能。
引用
@article{arxiv.2506.12666,
title = {LIFELONG SOTOPIA: Evaluating Social Intelligence of Language Agents Over Lifelong Social Interactions},
author = {Hitesh Goel and Hao Zhu},
journal= {arXiv preprint arXiv:2506.12666},
year = {2025}
}