MARBLER：一个用于多机器人强化学习算法标准化评估的开放平台
摘要
多智能体强化学习（MARL）近年来取得了显著进展，部分得益于深度学习技术被用于建模复杂环境中的交互。这自然开始以多机器人强化学习（MRRL）的形式惠及多机器人系统（MRS）。然而，现有的用于训练和评估策略的基础设施主要聚焦于协调虚拟智能体的挑战，而忽略了机器人系统的重要特性。很少有平台支持真实的机器人动力学，而能评估学习行为的仿真到现实（Sim2Real）性能的则更少。为解决这些问题，我们贡献了 MARBLER：面向 Robotarium 的多智能体强化学习基准与学习环境。MARBLER 通过结合佐治亚理工学院的 Robotarium（支持在物理 MRS 上快速部署）与 OpenAI 的 Gym 接口（便于标准化使用现代学习算法），为 MRRL 提供了一个稳健且全面的评估平台。MARBLER 提供了一个高度可控、具有真实动力学的环境，包括基于障碍证书（barrier certificate）的避障。它允许全球任何人以可复现的方式在物理测试平台上训练和部署 MRRL 算法。此外，我们引入了受 MRS 常见挑战启发的五种新场景，并支持新的自定义场景。最后，我们使用 MARBLER 评估了流行的 MARL 算法，并提供了关于它们对 MRRL 适用性的见解。总之，MARBLER 可以通过促进在真实仿真与物理硬件上对学习算法进行全面且标准化的评估，成为 MRS 研究社区的宝贵工具。我们的开源框架链接与真实世界实验视频可在 https://shubhlohiya.github.io/MARBLER/ 找到。
引用
@article{arxiv.2307.03891,
title = {MARBLER: An Open Platform for Standardized Evaluation of Multi-Robot Reinforcement Learning Algorithms},
author = {Reza Torbati and Shubham Lohiya and Shivika Singh and Meher Shashwat Nigam and Harish Ravichandar},
journal= {arXiv preprint arXiv:2307.03891},
year = {2023}
}
备注
7 pages, 3 figures, accepted to MRS 2023, for the associated website, see https://shubhlohiya.github.io/MARBLER/, resubmitting the camera ready version of the paper