Bi-KVIL：基于关键点的双手机械操作任务视觉模仿学习
机器人学
2024-03-25 v2
摘要
得益于计算机视觉的最新进展，视觉模仿学习在从少量视觉观测中学习单手操作任务方面取得了令人瞩目的进展。然而，从双手视觉演示中学习双手协调策略和复杂的物体关系，并将其泛化到新颖杂乱场景中的类别物体，仍然是未解决的挑战。在本文中，我们将之前基于关键点的视觉模仿学习 (K-VIL) 工作扩展至双手操作任务。提出的 Bi-KVIL 联合提取物体与手之间的所谓“混合主从关系”(HMSR)、双手协调策略以及次符号任务表示。我们的双手任务表示以物体为中心、与具身无关且视点不变，因此能很好地泛化到新场景中的类别物体。我们在各种现实世界应用中评估了我们的方法，展示了其从少量人类演示视频中学习细粒度双手操作任务的能力。视频和源代码可在 https://sites.google.com/view/bi-kvil 获取。
引用
@article{arxiv.2403.03270,
title = {Bi-KVIL: Keypoints-based Visual Imitation Learning of Bimanual Manipulation Tasks},
author = {Jianfeng Gao and Xiaoshu Jin and Franziska Krebs and Noémie Jaquier and Tamim Asfour},
journal= {arXiv preprint arXiv:2403.03270},
year = {2024}
}