基于掩码潜在变换器的高精度高效世界建模
机器学习
2026-02-04 v2 人工智能
计算机视觉与模式识别
摘要
Dreamer 算法最近在多样化环境领域中取得了显著的性能，通过训练具有模拟轨迹的强大代理人实现。然而，其世界模型中压缩后的潜在空间的特性可能会导致关键信息丢失，从而影响代理人的性能。最近的方法，如 -IRIS 和 DIAMOND，通过训练更精确的世界模型来解决这一限制。然而，这些方法需要直接从像素训练代理人，这会降低训练效率，并阻止代理人从世界模型所学习的内部表示中受益。在本工作中，我们提出了一种既准确又高效的世界建模方法。我们引入 EMERALD (Efficient MaskEd latent tRAnsformer worLD model)，一种利用空间潜在状态和 MaskGIT 预测生成潜在空间中准确轨迹并提高代理人性能的世界模型。在 Crafter 基准测试上，EMERALD 实现了新的最佳性能，成为在 1000 万环境步骤内超越人类专家性能的第一种方法。我们的方法还成功在评估期间解锁了所有 22 项 Crafter 成就。
关键词
引用
@article{arxiv.2507.04075,
title = {Accurate and Efficient World Modeling with Masked Latent Transformers},
author = {Maxime Burchi and Radu Timofte},
journal= {arXiv preprint arXiv:2507.04075},
year = {2026}
}