诊断并利用视频游戏的计算需求以改进深度强化学习
机器学习
2023-09-26 v1 人工智能
计算机视觉与模式识别
机器人学
摘要
人类通过与环境交互并感知其行动的结果来学习。人工智能的一个里程碑是开发了能够在视频游戏中做到同样事情的深度强化学习（dRL）算法，其表现与人类相当或优于人类。然而，目前仍不清楚 dRL 模型的成功反映的是视觉表征学习的进步、强化学习算法发现更优策略的有效性，还是二者兼而有之。为解答这一问题，我们引入了学习挑战诊断器（LCD），一种分别度量任务中感知需求与强化学习需求的工具。我们使用 LCD 在 Procgen 基准中发现了一类新颖的挑战分类，并证明这些预测高度可靠且可指导算法开发。更广泛地，LCD 揭示了在如 Procgen 等整个视频游戏基准上优化 dRL 算法时可能出现的多种失败情形，并为更高效的进展提供了路径。
引用
@article{arxiv.2309.13181,
title = {Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning},
author = {Lakshmi Narasimhan Govindarajan and Rex G Liu and Drew Linsley and Alekh Karkada Ashok and Max Reuter and Michael J Frank and Thomas Serre},
journal= {arXiv preprint arXiv:2309.13181},
year = {2023}
}