掩码生成式先验提升世界模型序列建模能力
机器学习
2025-10-23 v6 人工智能
摘要
深度强化学习（RL）已成为在复杂环境中创建人工智能体的主要方法。具有世界模型的模型基方法——即预测环境动力学的 RL 方法——是提高数据效率的前景方向，其正是实现将研究与实际部署之间的鸿沟的关键步骤。特别是，世界模型通过在想象中进行学习来提高样本效率，这涉及以自监督方式训练环境的生成序列模型。最近，掩码生成式建模（Masked Generative Modelling）作为一种更高效且更优的归纳偏置，涌现出来用于建模和生成标记序列。基于高效基于时序 Transformer 世界模型架构（STORM）构建，我们用掩码生成式先验（例如 MaskGIT Prior）取代传统的 MLP 先验，引入 GIT-STORM。我们在两个下游任务上评估我们的模型：强化学习和视频预测。GIT-STORM 在 Atari 100k 基准上的 RL 任务中显示出显著的性能提升。此外，我们首次将基于 Transformer 的世界模型应用于连续动作环境，解决了先前研究中的重大空白。为此，我们采用状态混合函数，将潜在状态表示与动作集成，使模型能够处理连续控制任务。我们通过在 DeepMind Control Suite 上的定性和定量分析验证了这一方法，展示了基于 Transformer 的世界模型在该新领域中的有效性。我们的结果凸显了 MaskGIT 动态先验的灵活性和有效性，为更精确的世界模型和有效的 RL 策略铺平了道路。
引用
@article{arxiv.2410.07836,
title = {Masked Generative Priors Improve World Models Sequence Modelling Capabilities},
author = {Cristian Meo and Mircea Lica and Zarif Ikram and Akihiro Nakano and Vedant Shah and Aniket Rajiv Didolkar and Dianbo Liu and Anirudh Goyal and Justin Dauwels},
journal= {arXiv preprint arXiv:2410.07836},
year = {2025}
}