来自触觉的灵巧性：基于机器人自由操作的触觉表征自监督预训练
机器人学
2023-03-22 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
教多指机器人灵巧操作一直是机器人领域的长期挑战。该领域大多数突出工作集中于学习控制器或策略，这些控制器或策略要么基于视觉观测，要么基于从视觉导出的状态估计。然而，此类方法在需要推理接触力或被手本身遮挡物体的细粒度操作任务上表现不佳。在这项工作中，我们提出 T-Dex，一种基于触觉灵巧性的新方法，分两个阶段运行。在第一阶段，我们收集 2.5 小时自由操作数据，用于训练自监督触觉编码器。这对于将高维触觉读数降维至低维嵌入是必要的。在第二阶段，给定少量灵巧任务的演示，我们学习将触觉观测与视觉观测相结合的非参数策略。在五个具有挑战性的灵巧任务中，我们展示基于触觉的灵巧模型平均优于纯视觉和基于力矩的模型 1.7 倍。最后，我们提供了对 T-Dex 关键因素的详细分析，包括自由操作数据、架构和表征学习的重要性。
引用
@article{arxiv.2303.12076,
title = {Dexterity from Touch: Self-Supervised Pre-Training of Tactile Representations with Robotic Play},
author = {Irmak Guzey and Ben Evans and Soumith Chintala and Lerrel Pinto},
journal= {arXiv preprint arXiv:2303.12076},
year = {2023}
}
备注
Video and code can be accessed here: https://tactile-dexterity.github.io/