SURREAL-System:面向分布式深度强化学习的全集成栈
机器学习
2019-10-14 v2 机器人学
统计方法学
摘要
我们概述SURREAL-System,一个可复现、灵活且可扩展的分布式强化学习(RL)框架。该框架由四层栈组成:供应层、编排层、协议层和算法层。供应层抽象了不同云提供商之间的机器硬件与节点池。编排层通过高层描述提供统一接口以调度和部署分布式算法,能够部署从个人笔记本电脑到完整云集群的广泛硬件。协议层提供为RL优化的网络通信原语。最后,SURREAL算法(如近端策略优化(PPO)和进化策略(ES))可轻松扩展至数千CPU核心和数百GPU。我们分布式算法的学习性能在OpenAI Gym和Robotics Suites任务上确立了新的state-of-the-art。
引用
@article{arxiv.1909.12989,
title = {SURREAL-System: Fully-Integrated Stack for Distributed Deep Reinforcement Learning},
author = {Linxi Fan and Yuke Zhu and Jiren Zhu and Zihua Liu and Orien Zeng and Anchit Gupta and Joan Creus-Costa and Silvio Savarese and Li Fei-Fei},
journal= {arXiv preprint arXiv:1909.12989},
year = {2019}
}
备注
Technical report of the SURREAL system. See more details at https://surreal.stanford.edu