TouchSDF：一种利用基于视觉的触觉感知进行三维形状重建的 DeepSDF 方法
计算机视觉与模式识别
2023-11-22 v1 机器学习
摘要
人类依靠视觉和触觉来发展对其物理环境的综合三维理解。近来，利用数据驱动方法探索和操作物体、并使用高分辨率基于视觉的触觉传感器的兴趣日益增长。然而，由于现有技术存在局限，包括无法泛化到未见形状、缺乏真实世界测试，以及离散表示带来的有限表达能力，使用触觉感知的三维形状重建一直落后于视觉形状重建。为应对这些挑战，我们提出 TouchSDF，一种利用基于视觉的触觉传感器所提供的丰富信息与隐式神经表示 DeepSDF 的表现力进行触觉三维形状重建的深度学习方法。我们的技术包含两个组件：（1）一个将触觉图像映射为表示触摸位置处表面的局部网格的卷积神经网络；（2）一个预测有符号距离函数以提取所需三维形状的隐式神经函数。这种组合使 TouchSDF 能够在仿真和真实环境中从触觉输入重建平滑连续的三维形状，为鲁棒的三维感知表示和机器人学中改进的多模态感知开辟了研究途径。代码与补充材料见：https://touchsdf.github.io/
引用
@article{arxiv.2311.12602,
title = {TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing},
author = {Mauro Comi and Yijiong Lin and Alex Church and Alessio Tonioni and Laurence Aitchison and Nathan F. Lepora},
journal= {arXiv preprint arXiv:2311.12602},
year = {2023}
}
备注
10 pages, 8 figures