学习飞行——基于 PyBullet 物理的多智能体四旋翼控制强化学习 Gym 环境
机器人学
2021-07-27 v3 机器学习
摘要
机器人模拟器对于学术研究、教育以及安全关键型应用的开发至关重要。强化学习环境——简单的模拟与以奖励函数形式给出的问题规范相结合——对于标准化学习算法的开发（与基准测试）也很重要。然而，全尺寸模拟器通常缺乏可移植性与并行性。反之，许多强化学习环境为了在小玩具式问题中实现高样本吞吐而牺牲了真实性。尽管公开数据集极大地惠及了深度学习与计算机视觉，我们仍缺乏能够同时开发——并公平比较——控制理论与强化学习方法的软件工具。在本文中，我们提出一个基于 Bullet 物理引擎的、类 OpenAI Gym 的开源多四旋翼环境。据我们所知，其多智能体与基于视觉的强化学习接口，以及对真实碰撞与空气动力学效应的支持，使其成为同类中的首个。我们通过若干示例展示了其用途，涉及控制（使用 PID 控制的轨迹跟踪、带下洗效应的多机器人飞行等）或强化学习（单智能体与多智能体稳定任务），希望借此启发未来结合控制理论与机器学习的研究。
引用
@article{arxiv.2103.02142,
title = {Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control},
author = {Jacopo Panerati and Hehui Zheng and SiQi Zhou and James Xu and Amanda Prorok and Angela P. Schoellig},
journal= {arXiv preprint arXiv:2103.02142},
year = {2021}
}
备注
8 pages, 11 figures, accepted for presentation at IROS 2021