基于单部人类视频的视觉 Manipulation 带开放世界对象图
机器人学
2025-09-05 v2 计算机视觉与模式识别
机器学习
摘要
本工作提出一种以对象为中心的方法，用于从人类视频中学习视觉操作技能。我们研究了在开放世界环境中通过仿照学习机器人操作的问题，即机器人从单个视频演示中学习操控新对象的能力。我们引入ORION算法，通过从单个RGB或RGB-D视频中提取对象中心操作计划，并派生出一种以提取计划为条件的策略。我们的方法使机器人能够从日常移动设备捕获的视频中学习，并将策略推广到视觉背景、摄像机角度、空间布局和新对象实例各不相同的部署环境。我们在使用RGB-D和RGB-only演示视频的情况下，对短时程和长时程任务进行了系统性评估。在各种任务和演示类型（RGB-D/RGB）下，我们观察到平均成功率为74.4%，表明ORION在开放世界中从单个人类视频中学习的有效性。附加材料可在我们的项目网站查阅：https://ut-austin-rpl.github.io/ORION-release。
引用
@article{arxiv.2405.20321,
title = {Vision-based Manipulation from Single Human Video with Open-World Object Graphs},
author = {Yifeng Zhu and Arisrei Lim and Peter Stone and Yuke Zhu},
journal= {arXiv preprint arXiv:2405.20321},
year = {2025}
}
备注
Extended version of paper adding results with RGB-only demonstration videos uploaded on 09/04/2025