利用预训练潜在表示进行灵巧机器人手的少样本模仿学习
机器人学
2024-04-26 v1
摘要
在模仿学习应用于灵巧机器人手的背景下，系统的高度复杂性使得学习复杂操作任务具有挑战性。然而，描述人类手部在不同任务中的大量数据集可以为我们提供关于人类手部运动的更好知识。我们提出了一种方法，利用多个大规模任务无关数据集来获得潜在表示，这些表示有效地编码了运动子轨迹，并将其纳入基于Transformer的行为克隆方法中。我们的结果表明，与传统的行为克隆方法相比，使用潜在表示可以获得更好的性能，特别是在对感知和本体感觉中的错误和噪声的鲁棒性方面。此外，所提出的方法仅依赖于人类演示，无需遥操作，从而加速了数据采集过程。用于指尖重定向的精确逆运动学确保了从人类手部数据到机器人的精确转移，促进了操作策略的有效学习和部署。最后，训练好的策略已成功转移到一个真实的23自由度机器人系统。
引用
@article{arxiv.2404.16483,
title = {Leveraging Pretrained Latent Representations for Few-Shot Imitation Learning on a Dexterous Robotic Hand},
author = {Davide Liconti and Yasunori Toshimitsu and Robert Katzschmann},
journal= {arXiv preprint arXiv:2404.16483},
year = {2024}
}