从视觉触觉印迹中学习合成体素网格
机器人学
2022-03-30 v1 人工智能
计算机视觉与模式识别
摘要
基于视觉的触觉传感器通常利用可变形弹性体与上方安装的相机，提供高分辨率的接触图像观测。获取变形弹性体的精确体素网格可直接提供接触信息，并有益于机器人抓取与操作。本文聚焦于基于从视觉触觉传感器获取的图像印迹，学习合成弹性体的体素网格。分别通过三维有限元方法（FEM）与物理传感器收集合成图像-网格对与真实世界图像。引入图神经网络（GNN）以监督学习方式学习图像到网格的映射。提出自监督自适应方法与图像增强技术，将网络从仿真迁移至现实、从基元接触迁移至未见接触、以及从一种传感器迁移至另一种传感器。利用这些学习并自适应后的网络，我们所提方法可在多领域中准确重建真实世界触觉传感器弹性体的形变，定量与定性结果均表明了这一点。
引用
@article{arxiv.2203.15155,
title = {Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints},
author = {Xinghao Zhu and Siddarth Jain and Masayoshi Tomizuka and Jeroen van Baar},
journal= {arXiv preprint arXiv:2203.15155},
year = {2022}
}
备注
To appear in the Proceedings of the IEEE International Conference on Robotics and Automation (ICRA 2022), Philadelphia (PA), USA