GameGen-X: 交互式开放世界游戏视频生成
计算机视觉与模式识别
2024-12-09 v3 人工智能
摘要
我们提出 GameGen-X，第一个专门用于生成和交互式控制开放世界游戏视频的扩散变换器模型。该模型通过模拟广泛的游戏引擎特性（如创新角色、动态环境、复杂动作和多样事件），实现了高质量、开放域的生成。此外，它提供了交互式可控性，能够根据当前片段预测并改变未来内容，从而实现游戏玩法模拟。为实现这一愿景，我们首先从头收集并构建了一个开放世界游戏视频数据集。这是首个也是最大的开放世界游戏视频生成与控制数据集，包含超过一百万个多样化的游戏玩法视频片段，采样自超过150款游戏，并附有 GPT-4o 提供的信息丰富的标注。GameGen-X 经历了一个两阶段训练过程，包括基础模型预训练和指令微调。首先，模型通过文本到视频生成和视频延续进行预训练，使其具备长序列、高质量开放域游戏视频生成的能力。进一步，为实现交互式可控性，我们设计了 InstructNet，以整合与游戏相关的多模态控制信号专家模块。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一了角色交互和场景内容控制。在指令微调期间，仅更新 InstructNet，而预训练的基础模型保持冻结，从而在不损失生成视频内容多样性和质量的前提下实现了交互式可控性的整合。
引用
@article{arxiv.2411.00769,
title = {GameGen-X: Interactive Open-world Game Video Generation},
author = {Haoxuan Che and Xuanhua He and Quande Liu and Cheng Jin and Hao Chen},
journal= {arXiv preprint arXiv:2411.00769},
year = {2024}
}
备注
Homepage: https://gamegen-x.github.io/ Github: https://github.com/GameGen-X/GameGen-X