面向 formations 中分布式移动代理的 MFC-EQ：基于包络 Q 学习的均值场控制

我们研究了分布式版本的移动代理编队问题（MAiF），这是一类多代理路径查找的变体，旨在为多个代理计划碰撞自由的路径，同时实现两个目标：快速到达目标并维持所需编队。代理必须在部分观察和有限通信条件下平衡这些目标。编队维护依赖于所有代理的联合状态，其维度随代理数量的指数增长，导致学习过程难以承受。此外，学习一个能适应这两个目标不同线性偏好的单一策略 presents a significant challenge。本文提出了均值场控制结合包络 Q 学习（MFC-EQ），用于解决这一双目标多代理问题。我们采用均值场理论近似所有代理的动力学，通过包络 Q 学习学习通用且无偏好的策略。我们对 MFC-EQ 在大量实例上的经验评估表明，它在现有集中式 MAiF 基线方法上进行了优越性表现。此外，MFC-EQ 能有效处理所需编队动态变化的更复杂场景——这是现有 MAiF 规划器无法解决的挑战。