从生成图像中学习视觉跑酷

Alan Yu; Ge Yang; Ran Choi; Yajvan Ravan; John Leonard; Phillip Isola

从生成图像中学习视觉跑酷

机器人学 2024-11-04 v1

作者: Alan Yu , Ge Yang , Ran Choi , Yajvan Ravan , John Leonard , Phillip Isola

摘要

快速准确的物理仿真是机器人学习的重要组成部分，机器人可以在仿真中探索现实世界中难以产生的失败场景，并从无限的在线策略数据中学习。然而，将RGB颜色感知融入仿真到现实的迁移流程中，使其在丰富性和真实感上与现实世界相匹配，仍然具有挑战性。在这项工作中，我们在仿真中训练一只机器狗进行视觉跑酷。我们提出了一种使用生成模型的方法，从机器人的自我中心视角合成场景的多样化且物理上准确的图像序列。我们展示了在一台配备低成本、现成彩色相机的机器人上，零样本迁移到仅依赖RGB观测的现实世界的演示。网站访问 https://lucidsim.github.io

关键词

视觉跑酷仿真到现实迁移生成模型机器人学习腿足式运动自我中心视觉物理仿真

引用

@article{arxiv.2411.00083,
  title  = {Learning Visual Parkour from Generated Images},
  author = {Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
  journal= {arXiv preprint arXiv:2411.00083},
  year   = {2024}
}

备注

17 pages, 19 figures

从生成图像中学习视觉跑酷

摘要

关键词

引用

备注

相关论文