UniTacHand：面向人类到机器人手臂技能迁移的统一空间-触觉表示

触觉感知对于机器人手实现类人灵巧操控至关重要，尤其在视觉遮挡的场景下。然而，其应用常受制于收集大规模真实世界机器人触觉数据方面的困难。本研究提出使用佩戴触觉手套收集低成本的人类操控数据，以用于触觉基于机器人策略学习。人类与机器人触觉数据之间的错位常常阻碍了从人类数据学习的策略迁移到机器人。为弥合这一差距，我们提出 UniTacHand——一种统一表示，用于对齐机器人手抓取的触觉信息与人类手掌的触觉数据。首先，我们将人类手和机器人手的触觉信号投射到 MANO 手模型的形态一致二维表面空间上。这种统一标准化了异构的数据结构，并内在地将触觉信号与空间语境嵌入其中。随后，我们引入对比学习方法，在仅需 10 分钟来自我们数据收集系统的配对数据训练的情况下，将其对齐到统一的潜在空间。我们的做法实现了从人类到真实机器人的零样态触觉策略迁移，能够泛化到训练数据中未出现的物体。我们还展示了包括人类和机器人演示在内的混合数据 co-training 通过 UniTacHand 可获得更好的性能和数据效率，相较于仅使用机器人数据。UniTacHand 为实现触觉基于灵活手臂的通用、可扩展和高效数据学习之路。