均场控制游戏的高效可扩展深度强化学习方法
机器学习
2025-01-03 v1 计算机科学与博弈论
多智能体系统
摘要
均场控制游戏（MFCGs）提供了分析包含无限多个相互作用代理 agent 系统的强大理论框架，融合了均场游戏（MFGs）和均场控制（MFC）的元素。然而，求解刻画MFCG平衡所需的耦合哈德金-琴伯赫方程组和福克-普兰克方程组，仍是高维或复杂环境下的重大计算挑战。本文提出一种可扩展的深度强化学习（RL）方法，用于近似求解MFCGs的平衡解。基于前期工作，我们将无限代理随机控制问题 reformulate 为马尔可夫决策过程（MDP），其中每个代表代理与演化中的均场分布互动。我们采用Angiuli等人（2024）提出的基于演员-评论家算法作为基线，并提出多种更具可扩展性和效率的算法，运用并行样本收集（批处理）、mini-batch、目标网络、近端策略优化（PPO）、广义优势估计（GAE）以及熵正则化等技术。通过这些技术，我们显著提升了基线算法的效率、可扩展性和训练稳定性。在一个线性-二次基准问题上进行评估，该问题存在可用的MFCG平衡解析解。我们的实验结果表明，所提方法的部分版本实现了更快的收敛速度，并与理论最优解 closely 近似，相较于基线算法在样本效率上提升了一个数量级。我们的工作为应对更复杂的MFCGs奠定了基础，这些问题与现实相关，如大规模自动交通系统、企业间经济竞争以及跨银行借贷问题。
引用
@article{arxiv.2501.00052,
title = {Efficient and Scalable Deep Reinforcement Learning for Mean Field Control Games},
author = {Nianli Peng and Yilin Wang},
journal= {arXiv preprint arXiv:2501.00052},
year = {2025}
}