基于单目视觉、触觉与形状先验的 3D 形状感知
计算机视觉与模式识别
2018-08-10 v1 机器人学
摘要
感知准确的 3D 物体形状对机器人与物理世界交互十分重要。当前该方向的研究主要依赖视觉观测。然而，视觉虽有用途，却因遮挡和 2D-3D 歧义而存在固有局限，尤其在单目相机感知下。相比之下，触觉能获取精确的局部形状信息，尽管其重建整体形状的效率可能较低。在本文中，我们提出一种新范式，通过融合视觉与触觉观测，以及从大规模形状库中学习的常见物体形状先验知识，高效感知准确的 3D 物体形状。我们先使用视觉，应用带有学习到的形状先验的神经网络从单视图彩色图像预测物体的 3D 形状。然后我们使用触觉感知来精化形状；机器人主动触摸视觉预测不确定性高的物体区域。我们的方法从一张彩色图像和少量（约 10 次）触觉探索中高效构建常见物体的 3D 形状。我们的设置易于应用，并有潜力帮助机器人更好地在真实物体上执行抓取或操控任务。
引用
@article{arxiv.1808.03247,
title = {3D Shape Perception from Monocular Vision, Touch, and Shape Priors},
author = {Shaoxiong Wang and Jiajun Wu and Xingyuan Sun and Wenzhen Yuan and William T. Freeman and Joshua B. Tenenbaum and Edward H. Adelson},
journal= {arXiv preprint arXiv:1808.03247},
year = {2018}
}
备注
IROS 2018. The first two authors contributed equally to this work