用于裂纹检测与重建的视觉引导主动触觉感知

裂纹检测对于监测桥梁和地下管道等人员难以进入的恶劣环境中的基础设施完整性与健康状况具有重要意义。近年来，计算机视觉技术已被应用于混凝土结构中的裂纹检测。然而，它们受光照条件和阴影变化的影响，缺乏鲁棒性并导致许多误报。为解决视觉中的不确定性，人类检测员会在视觉引导下主动触摸结构表面，而这一点在自主裂纹检测中尚未被探索。本文中，我们提出一种利用视觉引导主动触觉感知来检测并重建混凝土结构裂纹的新方法。给定结构的一幅 RGB-D 图像，首先用微调的深度卷积神经网络分割出结构表面裂纹的粗略轮廓，并生成一组接触点以引导基于相机的光学触觉传感器采集触觉图像。当发生接触时，可从触觉图像中获得像素级裂纹掩码，从而通过配准 RGB-D 图像与触觉图像来细化裂纹轮廓。大量实验结果表明，与仅用视觉的裂纹检测相比，所提方法显著提升了裂纹检测与重建的有效性和鲁棒性，并有望使机器人协助人类进行混凝土基础设施的检测与修复。