面向分布式强化学习的 GPU 加速机器人仿真
机器人学
2018-10-25 v2
摘要
大多数深度强化学习（Deep RL）算法需要极其大量的训练样本来学习复杂任务。近期许多加速 Deep RL 的工作集中于分布式训练与仿真。虽然分布式训练通常在 GPU 上进行，但仿真并非如此。本文中，我们提出使用 GPU 加速的 RL 仿真作为 CPU 仿真的替代方案。利用基于 GPU 的物理引擎 NVIDIA Flex，我们展示了学习多种连续控制、运动任务的显著加速。使用一块 GPU 和一个 CPU 核心，我们能够在不到 20 分钟内训练 Humanoid 跑步任务，所用 CPU 核心数比先前工作少 10-1000 倍。我们还展示了我们的仿真器在多 GPU 设置下的可扩展性，以训练更具挑战性的运动任务。
引用
@article{arxiv.1810.05762,
title = {GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning},
author = {Jacky Liang and Viktor Makoviychuk and Ankur Handa and Nuttapong Chentanez and Miles Macklin and Dieter Fox},
journal= {arXiv preprint arXiv:1810.05762},
year = {2018}
}
备注
Accepted and to appear at the Conference on Robot Learning (CoRL) 2018