图谱均值场抽样用于合作异构多智能体强化学习

在多智能体强化学习 (MARL) 中，协调大规模相互作用智能体是核心挑战，其联合状态-动作空间规模随智能体数量呈指数增长。均值场方法通过聚合智能体相互作用来缓解这一负担，但这些方法假设各智能体间相互作用均匀。最近的图谱基方法捕捉异构性，但随着智能体数量增长其计算成本高昂。因此，我们引入 $\texttt{GMFS}$，即 $\textbf{G}$raphon $\textbf{M}$ean-$\textbf{F}$ield $\textbf{S}$ubsampling 框架，用于可扩展的合作性 MARL 中的异构智能体相互作用。通过根据相互作用强度抽样 $\kappa$ 个智能体，我们对图谱加权均值场进行近似计算，并获得样本复杂度为 $\mathrm{poly}(\kappa)$ 且最优间隙为 $O(1/\sqrt{\kappa})$ 的策略学习。我们通过机器人协同中的数值仿真验证了理论，表明 $\texttt{GMFS}$ 实现了接近最优的性能。