MarineGym：用于 underwater 车辆高保真 RL 仿真的加速训练框架
机器人学
2024-10-21 v1
摘要
强化学习 (RL) 是一种有前景的解决方案，使无人 underwater 车辆 (UUV) 能够通过试错学习最优行为。然而，现有仿真器与 RL 方法的集成效率不足，限制了训练的可扩展性和性能。本文引入 MarineGym，一种新型仿真框架，旨在通过 GPU 加速提高 UUV 仿真训练的效率。MarineGym 在单 GPU 上的实时仿真性能提升了 10,000 倍，使 RL 算法能够在多个 underwater 任务上进行快速训练。其关键特征包括 UUV 的真实动力学建模、并行环境执行以及与 PyTorch 和 TorchRL 等流行 RL 框架的兼容性。通过四个 distinct 任务（station-keeping、circle tracking、helical tracking 和 lemniscate tracking）验证了该框架。该框架为推动 underwater 机器人中的 RL 以及在复杂动态环境中高效训练奠定了基础。
引用
@article{arxiv.2410.14117,
title = {MarineGym: Accelerated Training for Underwater Vehicles with High-Fidelity RL Simulation},
author = {Shuguang Chu and Zebin Huang and Mingwei Lin and Dejun Li and Ignacio Carlucho},
journal= {arXiv preprint arXiv:2410.14117},
year = {2024}
}
备注
Accepted by the 40th Anniversary of the IEEE Conference on Robotics and Automation (ICRA@40)