基于选择性状态空间模型的多智能体强化学习
机器学习
2024-10-29 v2 人工智能
多智能体系统
摘要
Transformer模型在包括多智能体强化学习(MARL)在内的广泛领域展现了成功，其中多智能体Transformer(MAT)已成为该领域的领先算法。然而，Transformer模型的一个显著缺点是相对于输入大小的二次计算复杂度，这使得在扩展到更大输入时计算成本高昂。这一限制制约了MAT在具有许多智能体的环境中的可扩展性。最近，状态空间模型(SSM)因其计算效率而受到关注，但它们在MARL中的应用仍未得到探索。在这项工作中，我们研究了近期SSM——Mamba在MARL中的应用，并评估它是否能在提供显著效率提升的同时匹配MAT的性能。我们引入了MAT的一个修改版本，该版本结合了标准和双向Mamba模块，以及一种新颖的“交叉注意力”Mamba模块。大量测试表明，我们的多智能体Mamba(MAM)在多个标准多智能体环境中匹配了MAT的性能，同时在更大智能体场景中提供了优越的可扩展性。这对MARL社区意义重大，因为它表明SSM可以在不牺牲性能的情况下取代Transformer，同时支持向更多数量智能体的更有效扩展。我们的项目页面可在https://sites.google.com/view/multi-agent-mamba获取。
引用
@article{arxiv.2410.19382,
title = {Multi-Agent Reinforcement Learning with Selective State-Space Models},
author = {Jemma Daniel and Ruan de Kock and Louay Ben Nessir and Sasha Abramowitz and Omayma Mahjoub and Wiem Khlifi and Claude Formanek and Arnu Pretorius},
journal= {arXiv preprint arXiv:2410.19382},
year = {2024}
}
备注
17 pages, 7 figures