论记忆：世界模型中记忆机制的比较

世界模型通过基于过去观测和动作预测未来状态，使智能体能够在想象的环境中进行规划。然而，其在长时间范围内的规划能力受到骨干架构有效记忆跨度的限制。这一限制导致在长时序展开中的感知漂移，阻碍了模型在想象轨迹中完成闭环的能力。在本工作中，我们通过分析多种记忆增强机制，研究了基于Transformer的世界模型的有效记忆跨度。我们引入了一种分类法，区分记忆编码机制和记忆注入机制，从残差流动力学的角度阐明它们在扩展世界模型记忆中的作用。通过状态回忆评估任务，我们测量了每种机制的记忆回忆能力并分析了各自的权衡。我们的发现表明，记忆机制改善了视觉Transformer的有效记忆跨度，并为在世界模型的想象中完成闭环提供了路径。