基于跨模态监督的视觉运动学习
人工智能
2022-11-08 v1 机器人学
摘要
在这项工作中，我们展示了如何学习仅使用单目RGB相机和本体感知的视觉行走策略。由于模拟RGB很困难，我们不得不在真实世界中学习视觉。我们从一个在仿真中训练的盲行走策略开始。该策略可以在真实世界中穿越某些地形，但常常遇到困难，因为它缺乏关于前方几何的信息。这可以通过使用视觉来解决。我们在真实世界中训练一个视觉模块，通过我们提出的跨模态监督（CMS）算法来预测前方地形。CMS使用时移本体感知来监督视觉，并允许策略随着更多真实世界经验而持续改进。我们在一组多样化的地形上评估了我们的基于视觉的行走策略，包括楼梯（高达19cm高）、湿滑斜坡（倾角35度）、路缘和台阶（高达20cm）以及复杂离散地形。我们以少于30分钟的真实世界数据实现了这一性能。最后，我们展示了我们的策略能以有限的真实世界经验适应视野中的偏移。视频结果和代码见 https://antonilo.github.io/vision_locomotion/。
引用
@article{arxiv.2211.03785,
title = {Learning Visual Locomotion with Cross-Modal Supervision},
author = {Antonio Loquercio and Ashish Kumar and Jitendra Malik},
journal= {arXiv preprint arXiv:2211.03785},
year = {2022}
}
备注
Learning to walk from pixels in the real world by using proprioception as supervision. Project page for videos and code: https://antonilo.github.io/vision_locomotion/