导航世界模型
计算机视觉与模式识别
2025-04-15 v2 人工智能
机器学习
机器人学
摘要
导航是具备视觉-运动能力的智能体的基本技能。我们引入了导航世界模型 (NWM)，这是一种可控的视频生成模型，根据过去的观察和导航动作预测未来的视觉观察。为捕捉复杂的环境动力学，NWM 采用条件扩散变换器 (CDiT)，该模型在大量来自人类和机器人智能体的类视角视频上进行训练，规模可达 10 亿参数。在熟悉的环境中，NWM 可以通过模拟和评估来规划导航轨迹，以确定其是否实现预期目标。不同于具有固定行为的监督式导航策略，NWM 可以在规划过程中动态地纳入约束。实验表明，其在从头开始规划轨迹或对来自外部策略采样的轨迹进行排序方面效果显著。此外，NWM 利用其学习到的视觉先验，在单张输入图像中想象不熟悉环境的轨迹，使其成为下一代导航系统的灵活且强大的工具。
引用
@article{arxiv.2412.03572,
title = {Navigation World Models},
author = {Amir Bar and Gaoyue Zhou and Danny Tran and Trevor Darrell and Yann LeCun},
journal= {arXiv preprint arXiv:2412.03572},
year = {2025}
}
备注
CVPR 2025. Project page: https://www.amirbar.net/nwm/