通过GPU Atari仿真加速强化学习
机器学习
2020-10-07 v2 机器学习
摘要
我们介绍CuLE（CUDA学习环境），即用于开发深度强化算法的Atari学习环境（ALE）的CUDA移植版。CuLE克服了现有基于CPU的仿真器的诸多局限，并可自然扩展至多个GPU。它利用GPU并行化同时运行数千个游戏，并直接在GPU上渲染帧，从而避免有限的CPU-GPU通信带宽所带来的瓶颈。CuLE在单个GPU上每小时可生成多达1.55亿帧，这一数据此前仅能通过CPU集群达到。除了强调在强化学习背景下CPU与GPU仿真器的差异外，我们展示了如何通过有效批处理训练数据来利用CuLE的高吞吐量，并展示了A2C+V-trace的加速收敛。CuLE可在https://github.com/NVLabs/cule获取。
引用
@article{arxiv.1907.08467,
title = {Accelerating Reinforcement Learning through GPU Atari Emulation},
author = {Steven Dalton and Iuri Frosio and Michael Garland},
journal= {arXiv preprint arXiv:1907.08467},
year = {2020}
}