跨传感器触觉生成

当今各种形态和尺寸的视觉-触觉传感器，使得开发通用触觉表示方法变得充满挑战。这主要是因为大多数模型都绑定于特定的传感器设计。为此提出两种跨传感器图像生成方法。第一种是一种基于配对数据的端到端方法（Touch2Touch）。第二种方法构建中间深度表示，无需配对数据（T2D2：Touch-to-Depth-to-Touch）。这两种方法均可通过跨传感器触觉生成过程，使传感器特定模型在多个传感器之间使用。综上，这些模型提供了灵活的传感器翻译解决方案，取决于数据可用性和应用需求。我们在下游任务（如手中姿态估计和行为克隆）上展示了其有效性，成功地将在一种传感器上训练的模型成功迁移到另一种传感器。项目页面：https://samantabelen.github.io/cross_sensor_touch_generation。