基于记忆搜索的零样态世界模型

世界模型在强化学习领域具有极大的影响力。它们能够建模环境的转移动力学，大大提高了在线RL的样本效率。在其中最著名的例子是Dreamer，该模型能够在多样化的基于图像的环境中学习行动。在本文中，我们利用相似性搜索和随机表示来近似一个无需训练程序的世界模型。我们与PlaNet——即Dreamer家族中一个广为人知的世界模型——建立了对比。我们在潜在重建质量以及对重构图像感知相似性两个方面进行评估，分别针对下一步和长期动力学预测。我们研究的结果表明，基于搜索的世界模型在两种情况下都与基于训练的模型相当。值得注意的是，我们的模型在广泛的视觉不同环境中进行长期预测时，相对于基线模型表现更佳。