TorchBeast：一个用于分布式 RL 的 PyTorch 平台
机器学习
2019-10-09 v1 机器学习
摘要
TorchBeast 是一个基于 PyTorch 的强化学习（RL）研究平台。它实现了流行的 IMPALA 算法的一个版本，用于 RL 智能体的快速、异步、并行训练。此外，TorchBeast 将简洁性作为明确的设计目标：我们提供了纯 Python 实现（"MonoBeast"）以及多机高性能版本（"PolyBeast"）。后者部分实现用 C++ 编写，但所有与机器学习相关的部分均保留为使用 PyTorch 的简单 Python 代码，环境通过 OpenAI Gym 接口提供。这使得研究人员无需超出 Python 和 PyTorch 的编程知识即可利用 TorchBeast 开展可扩展的 RL 研究。本文中，我们描述了 TorchBeast 的设计原则与实现，并证明其在 Atari 上的表现与 IMPALA 相当。TorchBeast 以 Apache 2.0 许可证作为开源包发布，可在 \url{https://github.com/facebookresearch/torchbeast} 获取。
引用
@article{arxiv.1910.03552,
title = {TorchBeast: A PyTorch Platform for Distributed RL},
author = {Heinrich Küttler and Nantas Nardelli and Thibaut Lavril and Marco Selvatici and Viswanath Sivakumar and Tim Rocktäschel and Edward Grefenstette},
journal= {arXiv preprint arXiv:1910.03552},
year = {2019}
}