追求联合目标的多智能体自组织系统中层级结构的涌现

多智能体自组织系统（MASOS）展现出包括可扩展性、适应性、灵活性和鲁棒性在内的关键特性，这些特性使其在各个领域得到广泛应用。然而，MASOS 的自组织特性也为其涌现行为引入了不可预测的因素。本文聚焦于任务执行过程中依赖层级结构的涌现，旨在理解这种层级结构如何从智能体对联合目标的集体追求中产生、如何动态演化以及哪些因素支配其发展。为研究这一现象，我们采用多智能体强化学习（MARL）训练 MASOS 执行协作推箱任务。通过计算每个智能体动作相对于其他智能体状态的梯度，量化了智能体间的依赖关系，并通过聚合这些依赖关系分析了层级结构的涌现。我们的结果表明，层级结构随着智能体朝着联合目标努力而动态涌现，并且这些层级结构会响应不断变化的任务需求而演化。值得注意的是，这些依赖层级结构是响应共享目标而有机涌现的，而非预先配置的规则或参数的结果，后者可以通过微调来达到特定结果。此外，层级结构的涌现受到任务环境和网络初始化条件的影响。另外，MASOS 中的层级结构源于智能体在“环境”中“天赋”与“努力”的动态相互作用。“天赋”决定了一个智能体对集体决策的初始影响力，而在“环境”中持续的“努力”则使智能体能够改变其在系统中的角色和位置。