GROOT：通过观看游戏视频学习遵循指令
人工智能
2023-11-30 v2 机器学习
摘要
我们研究了在开放世界环境中构建能够遵循开放式指令的控制器的问题。我们提出以参考视频作为指令，其提供了富有表现力的目标规范，同时免去了昂贵的文本-游戏标注需求。我们推导了一种新的学习框架，可从游戏视频中学习此类遵循指令的控制器，同时产生一个能诱导结构化目标空间的视频指令编码器。我们在基于因果 transformer 的简单而有效的编码器-解码器架构中实现了我们的智能体 GROOT。我们在提出的 Minecraft SkillForge 基准上针对开放世界同类方法和人类玩家评估了 GROOT。Elo 评分清楚地表明，GROOT 正在缩小人机差距，并且相对于最佳通才智能体基线展现出 70% 的胜率。对诱导目标空间的定性分析进一步展示了一些有趣的涌现特性，包括目标组合与复杂游戏行为合成。项目页面位于 https://craftjarvis-groot.github.io。
引用
@article{arxiv.2310.08235,
title = {GROOT: Learning to Follow Instructions by Watching Gameplay Videos},
author = {Shaofei Cai and Bowei Zhang and Zihao Wang and Xiaojian Ma and Anji Liu and Yitao Liang},
journal= {arXiv preprint arXiv:2310.08235},
year = {2023}
}