通过新颖性检测界定世界模型中的分布偏移

近期关于视觉世界模型的研究表明，从预训练图像骨干网络中获取的潜在状态动力学具有显著前景。然而，当前大多数方法对训练质量敏感，需要在训练期间几乎完全覆盖动作和状态空间，以防止在推理过程中出现发散。为了使基于模型的规划算法对所学世界模型的质量更具鲁棒性，我们在本工作中提出使用变分自编码器作为新颖性检测器，以确保规划期间提出的动作轨迹不会导致所学模型偏离训练数据分布。为评估该方法的有效性，在具有挑战性的模拟机器人环境中进行了一系列实验，将所提方法集成到扩展了 DINO-WM 架构的模型预测控制策略回路中。结果清楚地表明，所提方法在数据效率方面优于当前最先进的解决方案。