基于视觉触觉传感器的物体表面分类 Sim2Real 双层适配

本文中，我们解决基于视觉触觉传感器对物体表面分类领域的 Sim2Real 鸿沟问题。我们训练一个扩散模型（Diffusion Model），利用通过 DIGIT 传感器从未经标注的日常物体随机收集的相对较小的真实图像数据集来弥合此鸿沟。随后，我们使用模拟器通过对 YCB 模型集中物体表面均匀采样来生成图像。这些模拟图像随后由扩散模型翻译至真实域，并自动标注以训练分类器。在此训练中，我们进一步使用对抗过程对齐两域特征。我们的评估在一组十个 3D 打印 YCB 物体的触觉图像数据集上进行。结果显示总准确率为 81.9%，相比仅由模拟图像训练的分类器所达 34.7% 有显著提升。这证明了我们方法的有效性。我们进一步在基于触觉数据的 6D 物体位姿估计任务上使用分类器验证了我们的方法。