理解多人群体对话中的心理状态以引导社会影响

现有的动态心智理论（Theory of Mind, ToM）基准测试大多将语言模型置于被动角色：模型阅读一系列相互关联的场景，并报告人们在这些状态变化时的信念、感受、意图和行为。在真实的社会互动中，心智理论也被用于行动：说话者规划要说的话，以便将他人的心理状态轨迹引向一个目标。我们引入了 SocialMindChange，这是一个将重点从追踪心理转向在社会互动中改变心理的基准测试。每个实例定义了一个包含 4 个角色和五个关联场景的社会情境。模型扮演其中一个角色，并在五个场景中生成对话，以在保持与所有参与者不断演变的状态一致的同时达成目标。SocialMindChange 还包含了选定的高阶状态。通过一个结构化的四步框架，我们构建了 1,200 个社会情境，涵盖 6000 个场景和超过 90,000 个问题，每个都经过真实性和质量验证。对十个最先进的大语言模型（LLM）的评估表明，它们的平均性能比人类性能低 54.2%。这一差距表明，当前的大语言模型在跨越长程、相互关联的互动中维持和改变心理状态表征方面仍然存在困难。