面向部分可观测均场游戏的循环结构策略梯度
人工智能
2026-05-29 v2
摘要
均场游戏（MFGs）为建模大规模人口系统中的相互作用提供了原则框架。然而，由于模型无关方法方差大且精确方法规模较差，算法进展一直受限。最近的混合结构方法（HSMs）通过利用低维的 individual state 和 action 空间以及已知的转移动力学，计算给定常见噪声的蒙特卡罗 rollout 的预期回报，从而在保持可行性的同时降低方差。然而，HSMs 尚未扩展到部分可观测情形。我们提出循环结构策略梯度（RSPG），首个面向具有公共部分信息的 MFGs 的历史感知 HSM。RSPG 在模型无关 RL 方法上实现了数量级的更快收敛，同时学习历史感知行为，与当前的 HSMs 不同。为促进 MFGs 研究，我们还引入 MFAX，一个基于 JAX 的 MFG 框架，支持分析和基于样本的均场更新。MFAX 和使用示例可在 https://clarisse-wibault.github.io/rspg/ 查找。
引用
@article{arxiv.2602.20141,
title = {Recurrent Structural Policy Gradient for Partially Observable Mean Field Games},
author = {Clarisse Wibault and Johannes Forkel and Sebastian Towers and Tiphaine Wibault and Juan Duque and George Whittle and Andreas Schaab and Yucheng Yang and Chiyuan Wang and Maike Osborne and Benjamin Moll and Jakob Foerster},
journal= {arXiv preprint arXiv:2602.20141},
year = {2026}
}