RoboGolf：基于反思式多模态视觉语言模型的真实世界迷你高尔夫
机器人学
2024-07-23 v5 人工智能
摘要
迷你高尔夫是检验具身智能的典型范例，要求对 putt 球进行具有挑战性的空间和动力学理解。此外，如果挑战可行性未被确保，则需要进行反思式推理。我们引入RoboGolf，一个基于视觉语言模型(VLM)的框架，将双摄像头感知与闭环动作细化相结合，通过反思平衡环增强。两个环的核心都由微调的VLM驱动。我们分析了该框架在离线推理设置下的能力，依赖于大量记录的轨迹。该问题域的 exemplary 演示可在 https://jity16.github.io/RoboGolf/ 查看。
引用
@article{arxiv.2406.10157,
title = {RoboGolf: Mastering Real-World Minigolf with a Reflective Multi-Modality Vision-Language Model},
author = {Hantao Zhou and Tianying Ji and Lukas Sommerhalder and Michael Goerner and Norman Hendrich and Jianwei Zhang and Fuchun Sun and Huazhe Xu},
journal= {arXiv preprint arXiv:2406.10157},
year = {2024}
}
备注
Project page: https://jity16.github.io/RoboGolf/