无视觉旋转：通过触觉实现手中灵巧操作

触觉信息在人类灵巧性中起着关键作用。它揭示了可能无法直接从视觉推断的有用接触信息。事实上，人类甚至可以在不使用视觉的情况下执行手中灵巧操作。我们能否为多指机器人手赋予同样的能力？本文中，我们提出 Touch Dexterity，一种仅利用触觉而不看物体即可执行手中物体旋转的新系统。我们未依赖小区域内的精确触觉感知，而是引入了一种新系统设计，使用覆盖整个机器人手一侧（手掌、手指连杆、指尖）的密集二值力传感器（接触或未接触）。此类设计成本低，可更大范围覆盖物体，同时最小化 Sim2Real 差距。我们在仿真中使用强化学习在多样化物体上训练手中旋转策略。仅依赖纯触觉感知，我们可将策略直接部署于真实机器人手并旋转训练中未出现的新物体。我们针对触觉信息如何助力手中操作进行了大量消融实验。我们的项目见 https://touchdexterity.github.io。