基于鸟瞰图的预训练世界模型用于视觉导航
机器人学
2024-03-26 v2 机器学习
摘要
Sim2Real迁移因有助于从廉价模拟器迁移至真实世界而日益流行。本文提出一种新颖系统，将传统世界模型中的组件融合为一个完全在模拟器内训练、可零样本迁移至真实世界的鲁棒系统。为促进迁移，我们采用基于\textit{鸟瞰图（BEV）}图像的中间表示。因此，我们的机器人在模拟器中通过学习将复杂的\textit{第一人称视角（FPV）}RGB图像转换为BEV表示，进而学习使用这些表示进行导航。随后在真实世界测试时，机器人使用感知模型将基于FPV的RGB图像转换为由FPV到BEV转换器学习到的嵌入，这些嵌入可被下游策略使用。通过引入基于\textit{锚点图像}和混合密度LSTM的状态检查模块，不仅可插值不确定和缺失的观测，还增强了模型在真实世界中的鲁棒性。我们使用CARLA模拟器中差速驱动机器人的数据训练模型。通过将训练好的模型部署到真实世界差速驱动机器人上，展示了我们方法的有效性。最后，我们发布了用于训练和部署的综合代码库、数据集和模型（\url{https://sites.google.com/view/value-explicit-pretraining}）。
引用
@article{arxiv.2310.18847,
title = {Bird's Eye View Based Pretrained World model for Visual Navigation},
author = {Kiran Lekkala and Chen Liu and Laurent Itti},
journal= {arXiv preprint arXiv:2310.18847},
year = {2024}
}
备注
Under Review at the IROS 2024; Accepted at NeurIPS 2023, Robot Learning Workshop