GelSplitter：基于近红外与可见光图像的触觉重建
机器人学
2023-09-18 v1
摘要
类 GelSight 的视觉触觉（VT）传感器作为一种高分辨率触觉传感技术已在机器人中流行，能够使用单个 RGB 相机测量接触几何。然而，VT 传感器的多模态感知发展仍具挑战，受限于单目相机。本文中，我们提出 GelSplitter，一种实现多模态 VT 传感器的新框架，采用同步多模态相机并模拟更像人类的触觉感受器。此外，我们聚焦于三维触觉重建，实现了一种紧凑的传感器结构，即使增加了棱镜与近红外（NIR）相机，仍保持与最先进 VT 传感器相当的尺寸。我们还设计了光度融合立体神经网络（PFSNN），从红外与可见光图像估计物体表面法线并重建接触几何。我们的结果表明，RGB 与 NIR 融合的精度高于单独 RGB 图像。此外，我们的 GelSplitter 框架允许灵活配置不同相机传感器组合，如 RGB 与热成像。
引用
@article{arxiv.2309.08096,
title = {GelSplitter: Tactile Reconstruction from Near Infrared and Visible Images},
author = {Yuankai Lin and Yulin Zhou and Kaiji Huang and Qi Zhong and Tao Cheng and Hua Yang and Zhouping Yin},
journal= {arXiv preprint arXiv:2309.08096},
year = {2023}
}