Dex-NeRF：利用神经辐射场抓取透明物体
机器人学
2021-10-28 v1 计算机视觉与模式识别
摘要
抓取并操纵透明物体的能力是机器人面临的一项重大挑战。现有深度相机难以检测、定位此类物体并推断其几何形状。我们提出使用神经辐射场（NeRF）以足够的精度检测、定位并推断透明物体的几何形状，从而发现并稳妥抓取它们。我们利用NeRF与视角无关的学习密度，布置光源以增加镜面反射，并执行透明感知的深度渲染，将其输入Dex-Net抓取规划器。我们展示了额外光源如何产生镜面反射从而提升深度图质量，并测试了一个配备相机阵列以执行透明物体操纵的机器人工作单元设置。我们还创建了真实世界环境下透明物体的合成与真实数据集，包括孤立物体、杂乱桌面以及洗碗机顶层架。在每种设置中，我们均表明NeRF与Dex-Net能够可靠地计算透明物体上的稳健抓取，在ABB YuMi上的物理实验中取得了90%和100%的抓取成功率，而基线方法在这些物体上失败。
引用
@article{arxiv.2110.14217,
title = {Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects},
author = {Jeffrey Ichnowski and Yahav Avigal and Justin Kerr and Ken Goldberg},
journal= {arXiv preprint arXiv:2110.14217},
year = {2021}
}
备注
11 pages, 9 figures, to be published in the Conference on Robot Learning (CoRL) 2021