单控制器马尔可夫博弈中的虚拟博弈
计算机科学与博弈论
2022-05-24 v1
摘要
某些重要类别的范式博弈，包括零和博弈与同利博弈，具有虚拟博弈性质（FPP），即在这些博弈的重复进行中，虚拟博弈动态形成的信念总是收敛到纳什均衡（NE）。此类收敛结果被视为博弈论均衡分析的一种（行为）依据。马尔可夫博弈（MGs），亦称随机博弈，将范式博弈的重复进行推广到具有马尔可夫状态转移的动态多状态设定。特别地，MGs是多智能体强化学习的标准模型——一个学习与博弈中复兴的研究领域，且其博弈论均衡分析也已广泛开展。然而，某些类别的MGs是否具有FPP（即是否存在对均衡分析的行为依据）在很大程度上仍不明了。在本文中，我们研究MGs的一种新虚拟博弈动态变体，并展示其在由单一玩家控制状态转移的n人同利MGs中收敛到NE。此类博弈在通信、控制与经济学应用中令人关注。我们的结果连同[Sayin et al. 2020]近期结果，确立了双人零和MGs与具有单控制器的n人同利MGs的FPP（立于从完全竞争到完全合作的MG谱系两端）。
引用
@article{arxiv.2205.11389,
title = {Fictitious Play in Markov Games with Single Controller},
author = {Muhammed O. Sayin and Kaiqing Zhang and Asuman Ozdaglar},
journal= {arXiv preprint arXiv:2205.11389},
year = {2022}
}
备注
Accepted to ACM Conference on Economics and Computation (EC) 2022