MuxGel: 通过空间复用与深度重建实现同步双模态视觉-触觉感知

高保真度的视觉-触觉感知对于精确的机器人操作至关重要。然而，大多数基于视觉的触觉传感器面临一个根本性的权衡：不透明涂层能够实现触觉感知，但会阻挡接触前的视觉信息。为解决这一问题，我们提出了MuxGel，一种空间复用传感器，它通过单个摄像头同时捕捉外部视觉信息和接触引起的触觉信号。通过使用棋盘格涂层图案，MuxGel将触觉敏感区域与用于外部视觉的透明窗口交错排列。该设计保持了标准的外形尺寸，允许通过简单地更换凝胶垫，即插即用地集成到GelSight类传感器中。为了从复用输入中恢复全分辨率的视觉和触觉信号，我们开发了一个基于U-Net的重建框架。利用仿真到现实的流程，我们的模型能够同时有效地解耦并恢复高保真度的触觉和视觉场。在未见物体上的实验证明了该框架的泛化能力和准确性。此外，我们展示了MuxGel在抓取任务中的实用性，其中双模态反馈有助于接触前对齐和接触后交互。结果表明，MuxGel在保持与现有基于视觉的触觉传感器硬件堆栈兼容性的同时，增强了其感知能力。项目网页：https://zhixianhu.github.io/muxgel/。