基于双多指手的视触觉技能学习

为了复现类人的灵巧性、感知体验和运动模式，我们探索了使用配备多指手和视触觉数据的双臂系统从人类演示中学习。存在两个重大挑战：缺乏适用于配备多指手的双臂设置的廉价且易用的遥操作系统，以及配备触觉感知的多指手硬件的稀缺。为了应对第一个挑战，我们开发了 HATO，这是一种利用现成电子设备的低成本手臂数据遥操作系统，并辅以一套支持高效数据采集的软件套件；该综合软件套件还支持多模态数据处理、可扩展的策略学习以及平滑的策略部署。为了应对后一个挑战，我们通过将两只配备触觉传感器的假肢手改装用于研究，引入了一种新颖的硬件改造方案。利用从我们系统中收集的视触觉数据，我们学习了完成长时程、高精度任务的技能，这些任务在没有多指灵巧性和触觉反馈的情况下难以完成。此外，我们通过实验探究了数据集大小、感知模态和视觉输入预处理对策略学习的影响。我们的结果标志着在基于视触觉数据的双臂多指操作方面迈出了有希望的一步。视频、代码和数据集可在 https://toruowo.github.io/hato/ 获取。