SLoMo：一种从随意视频中进行腿式机器人运动模仿的通用系统
机器人学
2023-09-06 v2
摘要
我们提出SLoMo：一种首创的框架，用于将人类和动物在野外随意拍摄的视频片段中的熟练运动迁移到腿式机器人上。SLoMo分三个阶段工作：1）从单目视频合成物理上合理的重建关键点轨迹；2）离线优化机器人的动态可行参考轨迹，包括身体与足部运动以及紧密跟踪关键点的接触序列；3）在机器人硬件上使用通用模型预测控制器在线跟踪参考轨迹。传统的腿式运动技能模仿通常依赖专业动画师、协作演示和/或昂贵的动作捕捉设备，这些都限制了可扩展性。相反，SLoMo仅依赖易于获取的单目视频片段，如YouTube等在线仓库中 readily 可用的内容。它将视频转换为可由真实机器人可靠执行的运动基元。我们通过将猫、狗和人的运动迁移到示例机器人（包括四足机器人（硬件）和人形机器人（仿真））来展示我们的方法。据作者所知，这是首个直接从随意视频中模仿动物和人类运动、无需人工标记或标签的通用运动迁移框架。
引用
@article{arxiv.2304.14389,
title = {SLoMo: A General System for Legged Robot Motion Imitation from Casual Videos},
author = {John Z. Zhang and Shuo Yang and Gengshan Yang and Arun L. Bishop and Deva Ramanan and Zachary Manchester},
journal= {arXiv preprint arXiv:2304.14389},
year = {2023}
}
备注
accepted at RA-L 2023, with ICRA 2024 option