在开放世界生存游戏 Crafter 中利用以对象为中心的智能体学习泛化
机器学习
2022-08-09 v1 人工智能
摘要
强化学习智能体必须泛化到其训练经验之外。先前的工作大多聚焦于训练与评估环境完全相同的情况。从最近提出的 Crafter 基准（一个 2D 开放世界生存游戏）出发，我们引入了一组新的环境，适用于评估智能体对先前未见过（数量的）对象的泛化能力以及快速适应能力（元学习）。在 Crafter 中，智能体通过在 1M 步训练后解锁的成就数（如收集资源）来进行评估。我们表明当前智能体难以泛化，并提出了新颖的以对象为中心的智能体，优于强基线。我们还通过若干实验为未来 Crafter 相关工作提供了具有普遍意义的批判性见解。我们表明，细致的超参数调优大幅提升了 PPO 基线智能体，且即便前馈智能体仅依靠物品栏显示也能解锁几乎所有成就。我们在原始 Crafter 环境上取得了新的最先进（state-of-the-art, SOTA）性能。此外，当训练超过 1M 步时，我们调优后的智能体可以解锁几乎所有成就。我们表明，循环 PPO 智能体优于前馈智能体，即使在移除物品栏信息的情况下也是如此。我们引入了 CrafterOOD，一组用于评估分布外（OOD）泛化的 15 个新环境。在 CrafterOOD 上，我们表明当前智能体无法泛化，而我们的新颖以对象为中心的智能体在实现可解释性的同时取得了最先进的 OOD 泛化。我们的代码已公开。
关键词
引用
@article{arxiv.2208.03374,
title = {Learning to Generalize with Object-centric Agents in the Open World Survival Game Crafter},
author = {Aleksandar Stanić and Yujin Tang and David Ha and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2208.03374},
year = {2022}
}