面向部分可观测马尔可夫博弈中的多目标自组织追捕
多智能体系统
2023-09-27 v3 人工智能
摘要
多目标自组织追捕（SOP）问题具有广泛应用，并被视为分布式系统中一项具有挑战性的自组织博弈，其中智能体在部分观测条件下协作追捕多个动态目标。本工作提出一种面向去中心化多智能体系统的框架，以提升搜索与追捕中的隐式协调能力。我们将自组织系统建模为以大规模、去中心化、部分观测和无通信为特征的部分可观测马尔可夫博弈（POMG）。随后利用所提出的分布式算法——模糊自组织协同协同进化（FSC2）来解决多目标SOP中的三个挑战：分布式自组织搜索（SOS）、分布式任务分配与分布式单目标追捕。FSC2包含一种协调多智能体深度强化学习（MARL）方法，使同构智能体能够学习自然的SOS模式。此外，我们提出一种基于模糊的分布式任务分配方法，在局部将多目标SOP分解为若干单目标追捕问题。协同进化原理被用于协调各单目标追捕问题中的分布式追捕者。因此，POMG中固有的部分观测与分布式决策的不确定性得以缓解。实验结果表明，通过分解SOP任务，FSC2相较于其他由通用MARL算法完全训练的隐式协调策略取得了更优性能。FSC2的可扩展性得到证明：多达2048个FSC2智能体以近乎100%的捕获率执行高效的多目标SOP。实证分析与消融研究验证了FSC2中各组成算法的可解释性、合理性与有效性。
引用
@article{arxiv.2206.12330,
title = {Toward multi-target self-organizing pursuit in a partially observable Markov game},
author = {Lijun Sun and Yu-Cheng Chang and Chao Lyu and Ye Shi and Yuhui Shi and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2206.12330},
year = {2023}
}