变分离线多智能体技能发现
机器学习
2025-05-01 v3 人工智能
摘要
技能是为序列决策建立的有效时间抽象，能够实现长时域任务的高效分层学习，并通过其可迁移性促进多任务学习。尽管已有广泛研究，但在多智能体场景中仍存在研究空白，特别是在自动提取多智能体任务中的子群协调模式方面。为此，我们提出了两种新颖的自编码器方案：VO-MASD-3D和VO-MASD-Hier，以同时捕获子群层面和时间层面的抽象，形成多智能体技能，这首次解决了上述挑战。这些方案的一个关键算法组件是一个动态分组函数，能够基于任务中的智能体交互自动检测潜在子群。此外，我们的方法可应用于离线多任务数据，并且发现的子群技能可以在相关任务间迁移而无需重新训练。在星际争霸任务上的实证评估表明，我们的方法显著优于现有的分层多智能体强化学习（MARL）方法。此外，使用我们的方法发现的技能可以有效降低具有延迟和稀疏奖励信号的MARL场景中的学习难度。代码库可在 https://github.com/LucasCJYSDL/VOMASD 获取。
引用
@article{arxiv.2405.16386,
title = {Variational Offline Multi-agent Skill Discovery},
author = {Jiayu Chen and Tian Lan and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:2405.16386},
year = {2025}
}
备注
This work will appear in the proceedings of IJCAI 2025