像素到游戏：一种用于3D游戏的基础模型
计算机视觉与模式识别
2025-08-21 v1 人工智能
机器学习
摘要
我们介绍了 Pixels2Play-0.1 (P2P0.1)，一种基础模型，能够学习在广泛的3D视频游戏中表现出可识别的人类行为。受新兴的消费者和开发者用例——AI队友、可控NPC、个性化直播主、辅助测试——的启发，我们认为智能体必须依赖玩家可用的数据流，并能以最小的游戏特定工程推广到新游戏。P2P0.1采用行为克隆方式端到端训练：来自仪器化人类游戏玩法收集的标记演示，辅以无标记公共视频，通过逆动力学模型推断动作。解码器-only transformer采用自回归动作输出，能够处理大范围动作空间，同时在单张消费级GPU上保持低延迟。我们报告了在简单Roblox和经典MS-DOS游戏中的表现，关于无标记数据的消融实验，并概述了达到专家水平、文本条件控制所需的规模化和评估步骤。
关键词
引用
@article{arxiv.2508.14295,
title = {Pixels to Play: A Foundation Model for 3D Gameplay},
author = {Yuguang Yue and Chris Green and Samuel Hunt and Irakli Salia and Wenzhe Shi and Jonathan J Hunt},
journal= {arXiv preprint arXiv:2508.14295},
year = {2025}
}