深度强化学习的大规模并行方法
机器学习
2015-07-17 v2 人工智能
分布式、并行与集群计算
神经与进化计算
摘要
我们提出了首个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行行动者；从存储的经验中进行训练的并行学习者；用于表示价值函数或行为策略的分布式神经网络；以及一个分布式经验存储。我们使用我们的架构实现了深度 Q 网络算法（DQN）。我们的分布式算法被应用于 Arcade 学习环境中 Atari 2600 的 49 款游戏，使用了相同的超参数。我们的性能在 49 款游戏中的 41 款上超越了非分布式 DQN，并且在大多数游戏上将取得这些结果所需的实际时间减少了一个数量级。
引用
@article{arxiv.1507.04296,
title = {Massively Parallel Methods for Deep Reinforcement Learning},
author = {Arun Nair and Praveen Srinivasan and Sam Blackwell and Cagdas Alcicek and Rory Fearon and Alessandro De Maria and Vedavyas Panneershelvam and Mustafa Suleyman and Charles Beattie and Stig Petersen and Shane Legg and Volodymyr Mnih and Koray Kavukcuoglu and David Silver},
journal= {arXiv preprint arXiv:1507.04296},
year = {2015}
}
备注
Presented at the Deep Learning Workshop, International Conference on Machine Learning, Lille, France, 2015