透过皮肤看世界：基于新型视觉触觉传感器的物体识别

我们提出了一类新的基于视觉的传感器及相关的算法流程，其将视觉成像与高分辨率触觉感知统一于单一的硬件与计算架构中。我们展示了该传感器在多模态物体识别与计量方面的效能。物体识别通常被构建为单模态任务，但通过结合两种传感器模态，我们表明可以实现若干显著的性能提升。该传感器名为 See-Through-your-Skin 传感器（STS），旨在提供对接触表面的丰富多模态感知。受近期光学触觉传感技术发展的启发，我们解决了这些传感器的一个关键缺失特性：捕获接触表面之外区域的视觉视角的能力。光学触觉传感器通常是不透明的，而我们提出了一种具有半透明皮肤的传感器，根据其内部光照条件，它兼具作为触觉传感器和/或视觉相机双重能力。本文详述了该传感器的设计，展示了其双重感知能力，并提出了一种融合视觉与触觉的深度学习架构。我们通过数值仿真和智能台面原型的实验，验证了该传感器对家用物体进行分类、识别精细纹理并推断其物理属性的能力。