IMPALA：基于重要性加权行动者-学习者架构的可扩展分布式深度强化学习
机器学习
2018-06-29 v3 人工智能
摘要
在本工作中，我们旨在使用具有单一参数集的单个强化学习智能体来解决大量任务。一个关键挑战是处理增加的数据量和延长的训练时间。我们开发了一种新的分布式智能体IMPALA（Importance Weighted Actor-Learner Architecture，重要性加权行动者-学习者架构），它不仅在单机训练中更有效地利用资源，而且能扩展到数千台机器而不牺牲数据效率或资源利用率。我们通过将解耦的行动与学习同一种称为V-trace的新型离策略修正方法相结合，实现了高吞吐下的稳定学习。我们在DMLab-30（来自DeepMind Lab环境的一组30个任务（Beattie et al., 2016））和Atari-57（Arcade Learning Environment中所有可用的Atari游戏（Bellemare et al., 2013a））上展示了IMPALA在多任务强化学习上的有效性。我们的结果表明，IMPALA能够以更少的数据实现比先前智能体更好的性能，并且关键地因其多任务方法而表现出任务间的正迁移。
引用
@article{arxiv.1802.01561,
title = {IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures},
author = {Lasse Espeholt and Hubert Soyer and Remi Munos and Karen Simonyan and Volodymir Mnih and Tom Ward and Yotam Doron and Vlad Firoiu and Tim Harley and Iain Dunning and Shane Legg and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1802.01561},
year = {2018}
}