PyFlyt——面向强化学习研究的无人机仿真环境
机器人学
2023-04-05 v1
摘要
无人机（UAV）有着广泛的应用，但其高效且最优的飞行可能是一项挑战。强化学习（RL）已成为应对这一挑战的一种有前景的方法，然而目前尚无用于在无人机上测试和基准评测 RL 算法的标准化库。在本文中，我们介绍了 PyFlyt，一个基于 Bullet 物理引擎构建、原生支持 Gymnasium API 的平台。PyFlyt 提供了电机和升力面等简单组件的模块化实现，从而允许实现任意构型的无人机。此外，PyFlyt 为每种飞行器类型包含了多种任务定义和多种奖励函数设置。我们通过为两种无人机模型——四旋翼和固定翼——训练各种 RL 智能体，展示了 PyFlyt 的有效性。我们的发现凸显了 RL 在无人机控制与规划中的有效性，并进一步表明可以在稀疏奖励设置下为无人机训练智能体。PyFlyt 通过提供一个灵活且标准化的平台用于在无人机上测试 RL 算法，填补了现有文献中的空白。我们相信这将激励更多该方向上的标准化研究。
引用
@article{arxiv.2304.01305,
title = {PyFlyt -- UAV Simulation Environments for Reinforcement Learning Research},
author = {Jun Jet Tai and Jim Wong and Mauro Innocente and Nadjim Horri and James Brusey and Swee King Phang},
journal= {arXiv preprint arXiv:2304.01305},
year = {2023}
}
备注
Under Review for Transactions on Robotics