Rogue-Gym：强化学习泛化能力的新挑战
机器学习
2019-06-04 v2 机器学习
摘要
本文中，我们提出 Rogue-Gym，一个为评估强化学习(RL)中的泛化能力而构建的简单经典风格 roguelike 游戏。结合深度神经网络近期的进展，RL 已在许多游戏（如 Atari 2600 游戏）中无需人类知识即成功训练出人类水平的智能体。然而，已有指出经 RL 方法训练的智能体常对训练环境过拟合，且在略有差异的环境中表现糟糕。为研究此问题，一些具有程序化内容生成的科研环境已被提出。遵循这些研究，我们提议将 roguelike 用作评估 RL 智能体泛化能力的基准。在我们的 Rogue-Gym 中，智能体需探索每次新游戏时结构均不同的地牢。得益于地牢结构的高度多样性，我们相信 Rogue-Gym 的泛化基准足够公平。在我们的实验中，我们评估了标准强化学习方法 PPO，含与不含面向泛化的增强。结果表明，某些被认为有效的增强未能缓解 Rogue-Gym 中的过拟合，尽管其他一些略微改善了泛化能力。
引用
@article{arxiv.1904.08129,
title = {Rogue-Gym: A New Challenge for Generalization in Reinforcement Learning},
author = {Yuji Kanagawa and Tomoyuki Kaneko},
journal= {arXiv preprint arXiv:1904.08129},
year = {2019}
}
备注
8 pages, 14 figures, 4 tables, accepted to IEEE COG 2019