TieBot：通过真实-仿真-真实方法从视觉演示学习系结领带
机器人学
2024-10-22 v3 人工智能
系统与控制
系统与控制
摘要
系结领带的任务由于领带的大变形和长期操作动作而具有高度挑战性。本文提出了 TieBot，这是一个用于机器人学习系结领带的真实-仿真-真实视觉演示学习系统。我们引入了分层特征匹配方法，从演示视频中估计领带的一系列网格。通过将这些估计的网格用作子目标，我们首先使用特权信息学习教师策略，然后通过仿照教师策略以点云观察学习学生策略。最后，我们的管道将所学策略应用于真实世界执行。我们在仿真和真实世界中展示了 TieBot 的有效性。在真实世界实验中，双臂机器人成功地系结了领带，在 10 次试验中实现了 50% 的成功率。视频可在 https://tiebots.github.io/ 查看。
引用
@article{arxiv.2407.03245,
title = {TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach},
author = {Weikun Peng and Jun Lv and Yuwei Zeng and Haonan Chen and Siheng Zhao and Jichen Sun and Cewu Lu and Lin Shao},
journal= {arXiv preprint arXiv:2407.03245},
year = {2024}
}
备注
Accepted by CoRL 2024 as Oral presentation, camera-ready version