SDS——“看了、做了、排序”：从单视频演示生成四足机器人技能
机器人学
2025-08-21 v2
摘要
设想机器人可从任意单视频中学习 locomotion 技能，无需标注或奖励工程。我们引入 SDS（"See it. Do it. Sorted."），一个从非结构化演示中获取技能的自动化管道。利用 GPT-4o，SDS 采用 novel prompting 技术，包括基于时空网格的视觉编码 () 和结构化输入分解（SUS），从而从原始视频生成可执行奖励函数（RF）。这些 RF 用于训练 PPO 策略，并通过闭环演化优化，其中训练视频和绩效指标作为自监督信号。SDS 使四足机器人（如 Unitree Go1）能够学习四种脚步——跑、跳、踏、踏——实现100%的脚步匹配保真度、Dynamic Time Warping（DTW）距离约为 ，并实现稳定 locomotion，两者仿真和实际环境中均无失败。SDS 可推广至形态不同的四足机器人（如 ANYmal），在数据效率、训练时间和工程 effort 上均优于先前工作。
引用
@article{arxiv.2410.11571,
title = {SDS -- See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration},
author = {Maria Stamatopoulou and Jeffrey Li and Dimitrios Kanoulas},
journal= {arXiv preprint arXiv:2410.11571},
year = {2025}
}