SOTOPIA-TOM：基于理论心智（ToM）评估多主体交互中的信息管理
多智能体系统
2026-05-05 v1
摘要
随着基于大语言模型(LLM)的主体在多主体环境中交互，他们需要正确处理信息不对称，即知道何时向何人披露信息。然而，现有基准测试未在真实的多主体环境中衡量这一能力。因此，我们引入SOTOPIA-TOM，一个多维基准框架，用于评估LLM主体在信息不对称和隐私敏感的多主体交互中成功导航的能力。我们创建了一个交互环境，支持公共(广播)和私人(直接消息)通信，并构建了160个经人工审核的情景，覆盖八个行业领域，每个情景涉及3至5个主体，主体拥有分区的私有知识且通信受频道限制。为衡量交互能力，我们构建了一个多维评估框架，评估主体在如何分享有用信息、寻求缺失细节、高效协调以及保护隐私方面的表现，并将其整合为一个复合INFOMGMT指标。结果显示，在6种LLM主干模型和提示策略(原始、CoT-隐私、ToM干预)中，即使是最大的高推理模型(GPT-5)也仅达到62%的INFOMGMT得分，这表明在信息寻求和隐私意识决策方面仍存在不足。此外，ToM干预在整体协调-隐私平衡方面更为一致地取得改进；例如，相对于原始基线，ToM-Coach可将GPT-4o上关键隐私违规从9.9%降至2.2%，同时将复合InfoMgmt得分从15%提升至40%以上2.5倍。总体而言，SOTOPIA-TOM暴露了当前LLM主体在复杂信息不对称协调方面的持久局限，为开发更具隐私意识和理论心智能力的多主体系统提供了可扩展的测试平台。
引用
@article{arxiv.2605.02307,
title = {SOTOPIA-TOM: Evaluating Information Management in Multi-Agent Interaction with Theory of Mind},
author = {Yashwanth YS and Ruichen Wang and Shihua Zeng and Xuhui Zhou and Koichi Onoue and Vasudha Varadarajan and Maarten Sap},
journal= {arXiv preprint arXiv:2605.02307},
year = {2026}
}
备注
37 pages, 22 Figures