基于视觉-触觉融合的透明碎片轮廓估计

透明碎片的轮廓估计对自主重组至关重要，尤其在精密光学仪器维修、文物修复以及其他珍贵设备破损识别等领域。与一般完整的透明物体不同，透明碎片的轮廓估计面临更严峻的挑战，主要due to其严格的光学特性、不规则的形状与边缘。为此，本文提出一种基于视觉-触觉融合的透明碎片轮廓估计通用框架。首先，我们构建了名为TransFrag27K的透明碎片数据集，包含来自多种透明物体的多场景合成碎片数据，以及可扩展的合成数据生成管道。其次，我们提出了一种名为TransFragNet的视觉抓取位置检测网络，用于识别、定位和分割抓取位置。我们使用配备Gelsight Mini传感器的双指夹具获取碎片侧边的重建触觉信息。通过将触觉信息与视觉线索融合，我们提出了一种基于视觉-触觉融合的材料分类器。灵感来源于人类通过结合视觉与触觉来估计碎片轮廓的方式，我们引入了一种基于视觉-触觉融合的透明碎片轮廓估计通用框架，实际效果在真实场景中表现良好。最后，我们提出了一种基于多维相似性度量的轮廓匹配与重组算法，为评估视觉-触觉轮廓估计与碎片重组提供了可复现的基准。实验结果表明，所提框架有效且实用。数据集与代码已公开于 https://github.com/Keithllin/Transparent-Fragments-Contour-Estimation。