“以触视觉”与“以视触感”：面向视觉-触觉感知的机器人跨模态感知数据生成

人类执行日常任务时视觉-触觉刺激整合十分常见。相反，使用单模态视觉或触觉感知限制了对象的可感知维度。然而，整合视觉与触觉感知以促进机器人任务仍具挑战。本文中，我们提出一种用于视觉与触觉感知的跨模态感知数据生成新框架。以纹理感知为例，我们应用条件生成对抗网络（conditional GAN）从另一模态数据生成伪视觉图像或触觉输出。在布纹 ViTac 数据集上的大量实验表明，所提方法能从其他感官输入生成逼真输出。我们采用结构相似性指数评估生成输出与真实数据的相似度，结果显示已生成逼真数据。分类评估也表明，加入生成数据可提升感知性能。该框架有望扩展分类任务数据集、生成不易获取的感官输出，并推进视觉-触觉集成感知。