用于分析、可视化和比较深度强化学习智能体的 Atari 模型库
神经与进化计算
2019-05-31 v2
摘要
大量人力和计算努力旨在改进深度强化学习算法在 Atari 学习环境等基准上的表现。相对而言，较少努力聚焦于理解此类方法所学到的内容，以及调查和比较不同族强化学习（RL）算法所学到的表示。摩擦来源包括大规模运行深度 RL 算法所需的高昂计算需求，以及一般的后勤与架构复杂性。我们减轻了这一摩擦，通过（1）大规模训练若干算法并发布训练好的模型，（2）与先前深度 RL 模型发布集成，以及（3）发布使任何人都能轻松加载、可视化和分析此类模型的代码。本文介绍了 Atari Zoo 框架，其包含跨基准 Atari 游戏训练的模型（采用易用格式），以及实现常见分析模式并将此类模型连接到流行神经网络可视化库的代码。此外，为展示该数据集和软件包的潜力，我们给出了若干深度 RL 算法性能和表示的初步定量与定性比较，突出了它们之间有趣且先前未知的差异。
引用
@article{arxiv.1812.07069,
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Petroski Such and Vashisht Madhavan and Rosanne Liu and Rui Wang and Pablo Samuel Castro and Yulun Li and Jiale Zhi and Ludwig Schubert and Marc G. Bellemare and Jeff Clune and Joel Lehman},
journal= {arXiv preprint arXiv:1812.07069},
year = {2019}
}