使用浅层强化学习对Atari游戏的顶尖控制
机器学习
2016-04-25 v2
摘要
新近提出的深度Q网络（DQN）算法作为深度神经网络与强化学习最早的成功结合之一而受到关注。其潜力在街机学习环境（ALE）中得到展示，ALE是一个由数十个Atari 2600游戏组成的具有挑战性的框架，用于评估AI的通用能力。它取得了远比早期方法更好的结果，显示出其学习良好表征的能力相当鲁棒且通用。本文试图理解支撑DQN出色性能的原理，并更好地将其成功置于背景中。我们通过提出利用这些概念的简单线性表征，系统评估了DQN网络所编码的关键表征偏置的重要性。结合这些特性，我们获得了一个计算上实用的特征集合，在ALE中取得了与DQN竞争的性能。除了提供对DQN优劣的洞察外，我们为ALE提供了一个通用表征，显著减轻了为每个游戏学习表征的负担。此外，我们还提供了一个简单、可复现的基准，以便与ALE的未来工作进行比较。
引用
@article{arxiv.1512.01563,
title = {State of the Art Control of Atari Games Using Shallow Reinforcement Learning},
author = {Yitao Liang and Marlos C. Machado and Erik Talvitie and Michael Bowling},
journal= {arXiv preprint arXiv:1512.01563},
year = {2016}
}
备注
A shorter version of this paper appears in the Proceedings of the 15th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2016)