深度强化学习的加速方法
机器学习
2019-01-14 v2 人工智能
分布式、并行与集群计算
摘要
深度强化学习（RL）已取得许多近期成功，但实验周转时间仍是研究与实践中的关键瓶颈。我们研究如何针对现代计算机（具体而言为CPU与GPU组合）优化现有深度RL算法。我们确认策略梯度和Q值学习算法均可调整为利用许多并行模拟器实例进行学习。我们进一步发现，可以使用远大于标准值的批大小进行训练，且不会对样本复杂度或最终性能产生负面影响。我们利用这些事实构建了一个统一的并行化框架，显著加快了这两类算法的实验进程。所有神经网络计算均使用GPU，加速了数据收集与训练。我们的结果包括使用整台DGX-1，通过同步与异步算法在短短数分钟内于Atari游戏中学习到成功策略。
引用
@article{arxiv.1803.02811,
title = {Accelerated Methods for Deep Reinforcement Learning},
author = {Adam Stooke and Pieter Abbeel},
journal= {arXiv preprint arXiv:1803.02811},
year = {2019}
}
备注
v2: -Added game performance statistics summary for algorithm scaling across full Atari game set. -Added full set of learning curves (appendix). -Fixed images to remove phantom borders. -Streamlined some discussion, moved some details to appendix