基于克罗内克图的可扩展多智能体覆盖选项发现
机器学习
2023-08-22 v2 多智能体系统
摘要
覆盖技能（又称选项，option）发现旨在通过连接由状态转移图的 Fiedler 向量所提供的嵌入空间中最远的状态，来改善稀疏奖励信号下单智能体场景下强化学习（RL）的探索。鉴于多智能体系统中联合状态空间随智能体数量呈指数增长，现有依赖单智能体技能发现的研究要么变得难以处理，要么无法直接发现改善联合状态空间连通性的联合技能。本文提出可实现易分解的多智能体技能发现方法。我们的核心思想是将联合状态空间近似为克罗内克图（Kronecker graph），基于此可利用各智能体转移图的拉普拉斯谱直接估计其 Fiedler 向量。进一步，考虑到对于具有无限规模状态空间的任务是直接计算拉普拉斯谱难以处理的，我们通过对基于神经网络（NN）的表示学习技术估计特征函数来进一步提出本方法的深度学习扩展。在基于 Mujoco 等模拟器构建的多智能体任务上的评估表明，所提算法能成功识别多智能体技能，并显著优于当前最优（SOTA）方法。代码见：https://github.itap.purdue.edu/Clan-labs/Scalable_MAOD_via_KP。
引用
@article{arxiv.2307.11629,
title = {Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs},
author = {Jiayu Chen and Jingdi Chen and Tian Lan and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:2307.11629},
year = {2023}
}
备注
Accepted to NeurIPS 2022. arXiv admin note: substantial text overlap with arXiv:2201.08227