双层均值场：大规模多智能体强化学习中的动态分组
人工智能
2025-05-21 v2
摘要
大规模多智能体强化学习（Large-scale Multi-Agent Reinforcement Learning, MARL）常常因智能体交互的指数级增长而遭受维度灾难，这显著增加了计算复杂度并阻碍了学习效率。为缓解这一问题，现有的均值场（Mean Field, MF）方法通过将相邻智能体近似为单个均值智能体来简化交互结构，从而将整体复杂度降低为两两交互。然而，这些均值场方法不可避免地未能考虑个体差异，导致在均值场学习过程中因迭代更新不准确而产生的聚合噪声。本文提出了一种双层均值场（Bi-level Mean Field, BMF）方法，通过大规模MARL中的动态分组来捕捉智能体的多样性，从而通过双层交互来缓解聚合噪声。具体而言，BMF引入动态组分配模块，采用变分自编码器（Variational AutoEncoder, VAE）学习智能体的表征，以实现其随时间的动态分组。此外，我们提出了双层交互模块，用于建模组内和组间交互，以实现有效的邻近聚合。实验表明，所提出的BMF在各种任务上均优于当前最先进的方法。
引用
@article{arxiv.2505.06706,
title = {Bi-level Mean Field: Dynamic Grouping for Large-Scale MARL},
author = {Yuxuan Zheng and Yihe Zhou and Feiyang Xu and Mingli Song and Shunyu Liu},
journal= {arXiv preprint arXiv:2505.06706},
year = {2025}
}