超越高分数：多智能体群体的利他能力概谱
人工智能
2025-09-19 v1
摘要
AI 代理的社会能力开发与评估需要复杂的环境，以便自然地出现竞争和合作行为。虽然 game-theoretic properties 可以解释为何某些团队或智能体群体表现优于他人，但更抽象的行为（如 convention following）在训练和评估环境中难以控制。Melting Pot contest 是一个用于评估 AI 系统合作能力的社交 AI 评估套件。本文应用一种称为 Measurement Layouts 的贝叶斯方法来推断 Melting Pot contest 中多智能体系统的 capability profiles。我们表明，这些 capability profiles 不仅预测 Melting Pot 套件内未来性能，还揭示了智能体的 underlying prosocial abilities。我们的分析表明，虽然更高的利他能力有时与更好的表现相关联，但这并非普遍趋势——一些低分数的智能体表现出更强的合作能力。此外，我们发现表现最好的 contest 提交方案更可能在利他能力非必要的情景中获得高分。这些发现表明，至少有一个表现最好的团队可能已针对合作非必要的条件进行优化，潜在地利用了评估框架的局限性。我们提供了改进合作需求注释和提出未来研究方向的建议，以纠正不同测试环境引入的偏差。我们的结果表明，Measurement Layouts 提供了强大的预测准确性和可操作的见解，为在复杂社交环境中评估 AI 系统提供了更透明和更可泛化的方法。
引用
@article{arxiv.2509.14485,
title = {Beyond the high score: Prosocial ability profiles of multi-agent populations},
author = {Marko Tesic and Yue Zhao and Joel Z. Leibo and Rakshit S. Trivedi and Jose Hernandez-Orallo},
journal= {arXiv preprint arXiv:2509.14485},
year = {2025}
}