SACHA：基于启发式注意力的软演员-评论家方法用于部分可观测多智能体路径规划

多智能体路径规划（MAPF）是许多大规模机器人系统的关键组成部分，其中智能体必须规划到给定目标位置的无碰撞路径。近来，多智能体强化学习被引入以基于每个智能体的部分观测、以集中方式学习分散式单智能体策略，从而解决 MAPF 的部分可观测变体。然而，由于该设置的非平稳性，现有基于学习的方法在实现复杂多智能体协作（尤其在拥挤环境中）方面效率低下。为应对此挑战，我们提出一种多智能体演员-评论家方法，称为基于启发式注意力的软演员-评论家（SACHA），其对演员和评论家均采用新颖的基于启发式注意力机制以鼓励智能体间协作。SACHA 为每个智能体学习一个神经网络，以选择性关注其视野内来自多个智能体的最短路径启发式引导，从而实现更具可扩展性的协作学习。SACHA 还扩展了现有多智能体演员-评论家框架，引入以每个智能体为中心的新颖评论家来近似 $Q$ 值。与使用完全可观测评论家的现有方法相比，我们以智能体为中心的多智能体演员-评论家方法带来更公平的信用分配，以及所学策略对具有不同智能体数量和环境类型的 MAPF 实例更好的泛化性。我们还实现了 SACHA(C)，其在智能体策略网络中嵌入通信模块以实现智能体间信息交换。我们在多种 MAPF 实例上评估 SACHA 与 SACHA(C)，并证明在成功率和解质量方面相较若干最先进基于学习的 MAPF 方法取得显著提升。