马尔可夫势博弈中多智能体策略梯度的全局收敛性
机器学习
2025-09-24 v4 计算机科学与博弈论
摘要
势博弈可以说是最重要且被广泛研究的一类范式博弈。它们定义了多智能体协调的原型设定,因为所有智能体的效用通过共同的势函数完美对齐。这一直观框架能否移植到马尔可夫博弈的设定中?有状态依赖与无状态依赖的多智能体协调之间的异同是什么?我们提出了马尔可夫势博弈(MPG)的新定义,该定义推广了先前捕捉复杂有状态多智能体协调的尝试。与直觉相反,来自范式势博弈的见解并不能直接沿用,因为 MPG 可包含这样的设定:其中的状态博弈可以是零和博弈。反之,每个状态博弈都是势博弈的马尔可夫博弈不一定是 MPG。尽管如此,MPG 展现出标准的可取性质,例如确定性纳什策略的存在性。在我们的主要技术结果中,我们通过将近期为单智能体 MDP 开发的梯度主导性质论证适配到多智能体学习设定,证明了独立策略梯度向纳什策略的快速收敛。
引用
@article{arxiv.2106.01969,
title = {Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games},
author = {Stefanos Leonardos and Will Overman and Ioannis Panageas and Georgios Piliouras},
journal= {arXiv preprint arXiv:2106.01969},
year = {2025}
}
备注
New version fixes typos in the proof of main theorem and improves the number of iterations to 1/\epsilon^5 by improving Lemma D.3. We are grateful to Anas Barakat for pointing out the typos