面向视觉四旋翼导航的并行强化学习仿真
机器人学
2024-10-28 v1 人工智能
摘要
强化学习(RL)是一种基于智能体的方法,用于教导机器人在物理世界中导航。众所周知,为RL收集数据是一项费力的工作,且真实世界实验可能存在风险。仿真器以更快且更具成本效益的方式促进训练数据的收集。然而,RL经常需要大量的仿真步数才能使智能体熟练掌握简单任务。这是基于RL的视觉四旋翼导航领域的一个普遍问题,其状态维度通常非常大且动态模型复杂。此外,渲染图像和获取智能体的物理属性可能在计算上代价高昂。为此,我们提出了一个构建于AirSim之上的仿真框架,其提供高效的并行训练。基于该框架,我们对Ape-X进行了修改,以纳入AirSim环境的去中心化训练,从而利用多台联网计算机。通过实验,借助上述框架以及共计74个智能体和两台联网计算机,我们能够将训练时间从3.9小时缩短至11分钟。包括github仓库和关于我们项目PRL4AirSim的视频等更多细节可在 https://sites.google.com/view/prl4airsim/home 找到。
引用
@article{arxiv.2209.11094,
title = {Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation},
author = {Jack Saunders and Sajad Saeedi and Wenbin Li},
journal= {arXiv preprint arXiv:2209.11094},
year = {2024}
}
备注
This work has been submitted to the IEEE International Conference on Robotics and Automation (ICRA) for possible publication