3D 触觉的规范化表示与基于力的预训练用于灵巧视觉-触觉策略学习

触觉感知在使机器人执行精细细化任务中发挥着关键作用。然而，由于灵巧手覆盖面积大，触觉数据的高维度构成了对有效触觉特征学习的主要挑战，尤其是对于3D触觉数据，因为缺乏大规模标准化数据集和强大的预训练主干网络。为此，我们提出了一种新颖的规范化表示，以降低3D触觉特征学习的难度，并引入基于力的自监督预训练任务以捕获局部力特征和净力特征，这些特征对灵巧操纵至关重要。我们的方法在实际实验中完成四项精细细化、接触丰富型灵巧操纵任务，平均成功率达到78%，显示出比其他方法更具有效性和鲁棒性。进一步分析表明，我们的方法充分利用了3D触觉数据的空间信息和力信息以完成各类任务。代码与视频可在 https://3dtacdex.github.io 查看。