深度视触学习：从图像估计触觉属性

从视觉估计触觉属性（如打滑程度或粗糙度）对于有效与环境交互十分重要。这些触觉属性帮助我们决定应选择哪些动作及如何执行。例如，若看到牵引力不足我们可减速行驶，或若物品看起来易滑则抓得更紧。我们认为该能力也有助于机器人增强对环境的理解，从而使其能根据当前情况调整动作。因此我们提出一种仅从视觉感知估计触觉属性程度（如打滑或粗糙水平）的模型。我们的方法扩展了一种编码器-解码器网络，其中潜变量为视觉与触觉特征。与以往工作不同，我们的方法不需要人工标注，仅需 RGB 图像与相应的触觉传感器数据。我们的所有数据均由安装在 Sawyer 机器人末端执行器上的网络摄像头与 uSkin 触觉传感器采集，该机器人拂拭 25 种不同材料的表面。我们通过评估特征空间表明，我们的模型可泛化至未包含在训练数据中的材料，说明其已学会将重要触觉属性与图像相关联。