ClearGrasp：面向操作的透明物体三维形状估计
计算机视觉与模式识别
2019-10-16 v2 机器人学
图像与视频处理
摘要
透明物体是日常生活的常见部分，但它们具有独特的视觉特性，使得标准3D传感器极难对其产生准确的深度估计。在许多情况下，它们往往表现为其后方表面的噪声或失真近似。为应对这些挑战，我们提出ClearGrasp——一种从单张RGB-D图像估计透明物体精确3D几何以用于机器人操作的深度学习方法。给定一张包含透明物体的RGB-D图像，ClearGrasp使用深度卷积网络推断表面法线、透明表面掩码和遮挡边界，然后利用这些输出细化场景中所有透明表面的初始深度估计。为训练和测试ClearGrasp，我们构建了包含超过50,000张RGB-D图像的大规模合成数据集，以及包含286张透明物体RGB-D图像及其真实几何的真实世界测试基准。实验表明，ClearGrasp大幅优于单目深度估计基线，并能泛化到真实世界图像和新物体。我们还展示了ClearGrasp可开箱即用地提升抓取算法在透明物体上的性能。代码、数据和基准将公开发布。补充材料见项目网站：https://sites.google.com/view/cleargrasp
引用
@article{arxiv.1910.02550,
title = {ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation},
author = {Shreeyak S. Sajjan and Matthew Moore and Mike Pan and Ganesh Nagaraja and Johnny Lee and Andy Zeng and Shuran Song},
journal= {arXiv preprint arXiv:1910.02550},
year = {2019}
}
备注
Project Website: https://sites.google.com/view/cleargrasp, 13 pages, 13 figures, submitted to ICRA