UniZero：用于通用且高效规划的可扩展潜在世界模型
机器学习
2025-01-06 v2
摘要
学习预测世界模型对于增强强化学习 (RL) 智能体的规划能力至关重要。最近，基于价值等价原理和蒙特卡洛树搜索 (MCTS) 的 MuZero 风格算法在 various 领域实现了超人类的性能。然而，这些方法在具有多样依赖关系和任务可变性的异构场景中难以扩展。为克服这些限制，我们引入 UniZero，该方法采用模块化基于变换器的世界模型来有效学习共享潜在空间。通过在所学习的潜在历史条件下同时预测潜在动态和以决策为导向的数量，UniZero 实现了对长期世界模型和策略的联合优化，促进了潜在空间中的更广泛且更高效的规划。我们表明 UniZero 在需要长期记忆的基准测试中显著优于现有基线。此外，UniZero 在 Atari 基准测试上的多任务学习实验中显示出优异的可扩展性。在标准的单任务 RL 设置中，如 Atari 和 DMControl，UniZero 与当前最先进的方法相匹配，甚至超过。最后，广泛的消融研究和可视化分析验证了 UniZero 设计选择的有效性和可扩展性。我们的代码可在 \textcolor{magenta}{https://github.com/opendilab/LightZero} 获取。
引用
@article{arxiv.2406.10667,
title = {UniZero: Generalized and Efficient Planning with Scalable Latent World Models},
author = {Yuan Pu and Yazhe Niu and Zhenjie Yang and Jiyuan Ren and Hongsheng Li and Yu Liu},
journal= {arXiv preprint arXiv:2406.10667},
year = {2025}
}
备注
42 pages, 22 figures