VMAS：面向集体机器人学习的向量化多智能体模拟器
机器人学
2022-09-20 v2 机器学习
多智能体系统
摘要
尽管许多多机器人协调问题可通过精确算法最优求解，但这些解法在机器人数量上往往难以扩展。多智能体强化学习（MARL）作为解决此类问题的有前景方案，正日益受到机器人学界的关注。然而，我们仍缺乏能够快速高效地求解大规模集体学习任务的工具。本工作中，我们提出向量化多智能体模拟器（VMAS）。VMAS是一个开源框架，专为高效的MARL基准测试而设计。它由一个用PyTorch编写的向量化2D物理引擎和十二个具有挑战性的多机器人场景组成。额外场景可通过简单且模块化的接口实现。我们展示了向量化如何在不增加复杂度的前提下实现加速硬件上的并行仿真。在将VMAS与OpenAI MPE对比时，我们展示了MPE的执行时间随仿真数量线性增长，而VMAS能够在10秒以内执行30,000次并行仿真，证明快了100倍以上。利用VMAS的RLlib接口，我们使用多种基于近端策略优化（PPO）的MARL算法对多机器人场景进行基准测试。VMAS的场景从正交的多个维度对最先进的MARL算法提出了挑战。VMAS框架可在 https://github.com/proroklab/VectorizedMultiAgentSimulator 获取。VMAS场景与实验的视频可在 https://youtu.be/aaDRYfiesAY 观看。
引用
@article{arxiv.2207.03530,
title = {VMAS: A Vectorized Multi-Agent Simulator for Collective Robot Learning},
author = {Matteo Bettini and Ryan Kortvelesy and Jan Blumenkamp and Amanda Prorok},
journal= {arXiv preprint arXiv:2207.03530},
year = {2022}
}