TransCG：面向透明物体深度补全的大规模真实世界数据集及抓取基线

透明物体常见于我们的日常生活中，并在自动化生产线上被频繁处理。针对此类物体的鲁棒视觉机器人抓取与操作将有助于自动化。然而，当前多数抓取算法在此情形下会失效，因为它们严重依赖深度图像，而普通深度传感器由于光的反射与折射通常无法为透明物体生成准确的深度信息。在本工作中，我们通过提供一个大规模真实世界透明物体深度补全数据集来解决此问题，该数据集包含来自 130 个不同场景的 57,715 张 RGB-D 图像。我们的数据集是首个在多样且杂乱场景中提供真实深度、表面法线及透明掩码的大规模真实世界数据集。跨域实验表明，我们的数据集更具通用性，并能为模型带来更好的泛化能力。此外，我们提出了一种端到端深度补全网络，其以 RGB 图像与不准确的深度图作为输入，输出细化后的深度图。实验证明了我们的方法相较先前工作在效能、效率与鲁棒性上的优势，并且它能在有限硬件资源下处理高分辨率图像。真实机器人实验表明，我们的方法也能鲁棒地应用于新颖透明物体的抓取。完整数据集与我们的方法公开于 www.graspnet.net/transcg。