收敛性与连通性：随机网络中多智能体 Q 学习的动力学
多智能体系统
2026-02-12 v2 人工智能
计算机科学与博弈论
动力系统
摘要
超出特定情景setting后，许多多智能体学习算法无法收敛到均衡解，反而表现出复杂的非平稳行为，如循环或混沌轨道。事实上，近期文献表明，当智能体数量增加时，此类复杂行为更容易发生。本文研究随机网络中多智能体 Q 学习的动力学，网络结构基于经典随机图模型构建。特别关注用于分布式系统中网络连通性分析的 Erdős-Rényi 模型，以及考虑多智能体系统中自然出现的社区结构的 Stochastic Block 模型。在每种情况下，我们建立了智能体联合策略收敛到唯一均衡的充分条件。我们考察该条件如何依赖于探索率、收益矩阵以及关键的网络智能体之间相互作用概率。我们通过数值仿真验证了理论发现，表明在多智能体系统中，只要网络中的相互作用受到控制，即可可靠实现收敛。
引用
@article{arxiv.2503.10186,
title = {Convergence and Connectivity: Dynamics of Multi-Agent Q-Learning in Random Networks},
author = {Dan Leonte and Aamal Hussain and Raphael Huser and Francesco Belardinelli and Dario Paccagnan},
journal= {arXiv preprint arXiv:2503.10186},
year = {2026}
}