Catalyst.RL：面向可复现强化学习研究的分布式框架
机器学习
2019-03-04 v1 机器学习
摘要
尽管深度强化学习（RL）领域近期取得了进展，且或许正因其进展，仍有大量工作有待于复现和仔细比较不同 RL 算法。我们提出 catalyst.RL，一个专注于可复现性和灵活性的开源 RL 研究框架。我们库的主要特性包括大规模异步分布式训练、带有特定实验完整超参数列表的易用配置文件、各类 RL 算法及辅助技巧（如帧堆叠、n 步回报、价值分布等）的高效实现。为证明我们框架的实用性，我们在连续控制的一系列基准上以及开发使带假肢腿的基于生理的人体模型能够行走和奔跑的控制器任务上对其进行了评估。后者任务在 NeurIPS 2018 AI for Prosthetics Challenge 中引入，我们的团队凭借 catalyst.RL 训练高质量且样本高效的 RL 智能体的能力获得第 3 名。
引用
@article{arxiv.1903.00027,
title = {Catalyst.RL: A Distributed Framework for Reproducible RL Research},
author = {Sergey Kolesnikov and Oleksii Hrinchuk},
journal= {arXiv preprint arXiv:1903.00027},
year = {2019}
}