GMI-DRL：利用GPU空间复用增强多GPU深度强化学习
分布式、并行与集群计算
2022-06-20 v1
摘要
随着机器人在工业控制与自动驾驶中的日益普及，深度强化学习(DRL)引起了各领域的关注。然而，由于DRL异构工作负载与交错执行范式，其在现代强大GPU平台上的计算仍效率低。为此，我们提出GMI-DRL，一种通过GPU空间复用加速多GPU DRL的系统设计。我们引入一种新颖的可调资源GPU复用实例(GMI)设计以匹配DRL任务的实际需求、一种自适应GMI管理策略以同时实现高GPU利用率与计算吞吐，以及高效跨GMI通信支持以满足多样DRL通信模式需求。综合实验表明，在最新DGX-A100平台上，GMI-DRL在训练吞吐上优于带NCCL（最高2.81倍）与Horovod（最高2.34倍）支持的SOTA NVIDIA Isaac Gym。我们的工作为利用GPU空间复用处理计算与通信混合的异构工作负载提供了初步用户体验。
引用
@article{arxiv.2206.08482,
title = {GMI-DRL: Empowering Multi-GPU Deep Reinforcement Learning with GPU Spatial Multiplexing},
author = {Yuke Wang and Boyuan Feng and Zheng Wang and Tong Geng and Ang Li and Yufei Ding},
journal= {arXiv preprint arXiv:2206.08482},
year = {2022}
}