基于选择性透射软膜的多模态接近与视触觉感知

机器人感知系统中最常见的感知模态是视觉和触觉，二者结合可为操作提供全局和高度局部化的数据。然而，当目标物体脱离与末端执行器的静态受控接触、转变为动态非受控运动的关键时刻，这些感知模态往往无法充分捕捉其行为。本文提出了一种新型多模态视触觉传感器，可同时提供视触觉与接近深度数据。该传感器集成了用于触觉感知的 RGB 摄像头与气压传感器，以及用于接近感知的红外飞行时间（ToF）摄像头，并利用选择性透射软膜实现双重感知模态。我们介绍了该传感器的机械设计、制造工艺、算法实现，并对其触觉与接近模态进行了评估。该传感器在三个开环机器人任务中得到了演示：接近并接触物体、接物和抛物。触觉与接近数据的融合可用于捕捉目标物体转换行为的关键信息，以实现动态操作中基于传感器的控制。