多团队博弈中用于达到团队纳什均衡的团队虚拟博弈
计算机科学与博弈论
2024-11-01 v2
摘要
多团队博弈在机器人技术与资源管理中普遍存在，涉及团队成员为对抗其他团队而争取联合最优响应。团队纳什均衡（TNE）预测了此类协调交互的结果。然而，由自利智能体组成的团队能否达到 TNE？我们引入了团队虚拟博弈（Team-Fictitious Play, Team-FP），这是虚拟博弈的一种新变体，其中智能体在动作更新时带有一定的惯性，对团队成员的最后动作以及形成的关于其他团队的信念做出响应。这种设计对于超越经典虚拟博弈动态的团队协调至关重要。我们关注零和势团队博弈（ZSPTGs），其中团队可以进行两两交互，但团队成员不一定具有相同的收益。我们证明 Team-FP 在 ZSPTGs 中能够以可量化的误差界达到接近 TNE 的状态。我们将 Team-FP 动态扩展到多团队马尔可夫博弈的基于模型和无模型情形。收敛性分析基于最优耦合引理和随机微分包含逼近方法，解决了由演化对手策略引起的非平稳性挑战。我们的工作巩固了使用 TNE 预测去中心化团队行为的基础，并为多团队环境中的团队学习提供了实用规则。我们提供了 Team-FP 动态的广泛仿真，并将其性能与其他被广泛研究的动态（如平滑虚拟博弈和乘法权重更新）进行了比较。我们进一步探讨了不同参数如何影响收敛速度。
引用
@article{arxiv.2402.02147,
title = {Team-Fictitious Play for Reaching Team-Nash Equilibrium in Multi-team Games},
author = {Ahmed Said Donmez and Yuksel Arslantas and Muhammed O. Sayin},
journal= {arXiv preprint arXiv:2402.02147},
year = {2024}
}