看见玻璃：面向透明物体的联合点云与深度补全
计算机视觉与模式识别
2021-10-04 v1 人工智能
机器学习
机器人学
摘要
许多物体操控算法的基础是RGB-D输入。然而，由于光的折射和吸收，商用RGB-D传感器只能为广泛范围的透明物体提供失真的深度图。为应对透明物体带来的感知挑战，我们提出TranspareNet，一种联合点云与深度补全方法，能够在杂乱和复杂场景中完成透明物体的深度补全，即使容器内装有部分液体也能处理。为解决文献中现有透明物体数据收集方案的不足，我们还提出一个自动化数据集创建工作流，由机器人控制图像采集和基于视觉的自动标注组成。通过该自动化工作流，我们创建了多伦多透明物体深度数据集（TODD），其包含近15000张RGB-D图像。我们的实验评估表明，TranspareNet在包括ClearGrasp在内的多个数据集上优于现有的最先进（SOTA）深度补全方法，并且当在TODD上训练时也能处理杂乱场景。代码与数据集将发布于 https://www.pair.toronto.edu/TranspareNet/
引用
@article{arxiv.2110.00087,
title = {Seeing Glass: Joint Point Cloud and Depth Completion for Transparent Objects},
author = {Haoping Xu and Yi Ru Wang and Sagi Eppel and Alàn Aspuru-Guzik and Florian Shkurti and Animesh Garg},
journal= {arXiv preprint arXiv:2110.00087},
year = {2021}
}
备注
Accepted for Oral at Conference on Robot Learning (CoRL) 2021; Haoping Xu and Yi Ru Wang contributed equally; 8 pages, 6 figures, 3 tables