通过CycleVAE与人类行为Transformer引导演示的跨具身机器人操作合成
机器人学
2025-03-12 v1
摘要
跨具身机器人操作合成对于复杂任务具有挑战性，部分原因是跨具身配对数据集的稀缺以及设计复杂控制器的困难。借鉴通过引导人类专家演示进行机器人学习的思路，我们提出了一种基于CycleVAE和人类行为Transformer的新型跨具身机器人操作算法。首先，我们利用无监督CycleVAE结合双向子空间对齐算法来对齐跨具身之间的潜在运动序列。其次，我们提出了一种非因果人类行为Transformer设计来学习人类专家演示的内在运动动力学。在测试阶段，我们利用所提出的Transformer生成人类专家演示，然后通过CycleVAE对齐以实现最终的人-机器人操作合成。我们通过使用灵巧机器人手的广泛实验验证了所提出的算法。我们的结果成功生成了跨越复杂任务的光滑轨迹，优于先前的基于学习的机器人运动规划算法。这些结果对实现无监督跨具身对齐和未来自主机器人设计具有重要意义。我们实验的完整视频演示可在https://sites.google.com/view/humanrobots/home获取。
引用
@article{arxiv.2503.08622,
title = {Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer},
author = {Apan Dastider and Hao Fang and Mingjie Lin},
journal= {arXiv preprint arXiv:2503.08622},
year = {2025}
}
备注
Under Review in IROS 2025