Iso-Dream：在世界模型中隔离并利用不可控视觉动态
机器学习
2022-12-20 v3 人工智能
机器人学
摘要
世界模型学习基于视觉的交互系统中动作的后果。然而，在如自动驾驶的实际场景中，常存在独立于动作信号的不可控动态，使得学习有效的世界模型困难。为解决这个问题，我们提出一种名为Iso-Dream的新颖强化学习方法，从两方面改进Dream-to-Control框架。首先，通过优化逆动态，我们鼓励世界模型在隔离的状态转移分支上学习可控与不可控的时空变化源。其次，我们在世界模型解耦的潜在想象上优化智能体行为。具体地，为估计状态值，我们将不可控状态滚动到未来并将其与当前可控状态关联。如此，动态源的隔离可极大裨益智能体的长视野决策，例如自动驾驶汽车可通过预判其他车辆运动来规避潜在风险。实验表明Iso-Dream在解耦混合动态方面有效，并在广泛视觉控制与预测领域中显著优于现有方法。
引用
@article{arxiv.2205.13817,
title = {Iso-Dream: Isolating and Leveraging Noncontrollable Visual Dynamics in World Models},
author = {Minting Pan and Xiangming Zhu and Yunbo Wang and Xiaokang Yang},
journal= {arXiv preprint arXiv:2205.13817},
year = {2022}
}