QuadSwarm：用于直接推力控制深度强化学习的模块化多四旋翼仿真器
机器人学
2023-06-19 v1 人工智能
机器学习
多智能体系统
系统与控制
系统与控制
摘要
强化学习（RL）在构建鲁棒机器人任务策略方面已展现出潜力。然而，当代 RL 算法极其耗费数据，常需数十亿次环境转移才能训练出成功策略。这必然要求使用快速且高度可并行化的仿真器。除速度外，此类仿真器还需对机器人及其与环境交互的物理进行建模，以达到可将仿真中学得的策略迁移至现实的可接受程度。我们提出 QuadSwarm，一个快速、可靠的单与多机器人四旋翼 RL 研究仿真器，可同时应对上述两方面问题。QuadSwarm 将与前渲染解耦的快速前向动力学传播相结合，设计为高度可并行化，使吞吐量随额外算力线性扩展。它提供面向多机器人 RL 的多种组件，包括多样化训练场景，并提供域随机化以促进多四旋翼控制策略的开发与 sim2real 迁移。初步实验表明，在 16 核 CPU 上，QuadSwarm 在单四旋翼上每秒超过 48,500 个仿真样本（SPS），在八四旋翼上超过 62,000 SPS。代码见 https://github.com/Zhehui-Huang/quad-swarm-rl。
引用
@article{arxiv.2306.09537,
title = {QuadSwarm: A Modular Multi-Quadrotor Simulator for Deep Reinforcement Learning with Direct Thrust Control},
author = {Zhehui Huang and Sumeet Batra and Tao Chen and Rahul Krupani and Tushar Kumar and Artem Molchanov and Aleksei Petrenko and James A. Preiss and Zhaojing Yang and Gaurav S. Sukhatme},
journal= {arXiv preprint arXiv:2306.09537},
year = {2023}
}
备注
Paper published in ICRA 2023 Workshop: The Role of Robotics Simulators for Unmanned Aerial Vehicles. The workshop can be found in https://imrclab.github.io/workshop-uav-sims-icra2023/