用于手中物体重建的视觉-触觉感知
计算机视觉与模式识别
2023-03-28 v1
摘要
触觉感知是人类重度依赖以感知世界的模态之一。与视觉协作时，该模态细化局部几何结构、测量接触区域形变并指示手-物接触状态。随着DIGIT等开源触觉传感器的出现，视觉-触觉学习研究正变得更具可及性与可复现性。利用该触觉传感器，我们提出一种新颖的视觉-触觉手中物体重建框架\textbf{VTacO}，并将其扩展为\textbf{VTacOH}以用于手-物重建。由于我们的方法可支持刚体与可变形体重建，现有基准均不适用于此目标。我们提出仿真环境VT-Sim，其支持为刚体与可变形体生成手-物交互。借助VT-Sim，我们生成大规模训练数据集并在其上评估我们的方法。大量实验表明，我们所提方法在定性与定量上均优于先前基线方法。最后，我们将仿真中训练的模型直接应用于多种真实世界测试用例，展示了定性结果。代码、模型、仿真环境与数据集可在\url{https://sites.google.com/view/vtaco/}获取。
引用
@article{arxiv.2303.14498,
title = {Visual-Tactile Sensing for In-Hand Object Reconstruction},
author = {Wenqiang Xu and Zhenjun Yu and Han Xue and Ruolin Ye and Siqiong Yao and Cewu Lu},
journal= {arXiv preprint arXiv:2303.14498},
year = {2023}
}
备注
Accepted in CVPR 2023