NeuralLabeling：基于神经辐射场标注视觉数据集的通用工具集
计算机视觉与模式识别
2024-07-23 v2 机器人学
摘要
我们提出 NeuralLabeling，一种使用边界框或网格标注 3D 场景并生成分割掩码、可供性图、2D 边界框、3D 边界框、6DOF 物体位姿、深度图和物体网格的标注方法与工具集。NeuralLabeling 使用神经辐射场（NeRF）作为渲染器，允许使用 3D 空间工具进行标注，同时结合遮挡等几何线索，且仅以从多个视角捕获的图像作为输入。为展示 NeuralLabeling 在机器人实际问题中的适用性，我们使用 RGBD 传感器捕获了放置在洗碗机中的玻璃杯的透明物体 RGB 与含噪深度图共 30000 帧，并添加真实深度图，从而得到 Dishwasher30k 数据集。我们表明，使用标注深度图监督训练一个简单的深度神经网络，比先前采用的弱监督方法获得更高的重建性能。我们还展示了如何使用 NeuralLabeling 生成的实例分割与深度补全数据集集成到机器人应用中，以 83.3% 的准确率抓取放置在洗碗机中的透明物体，而无深度补全时准确率仅为 16.3%。
引用
@article{arxiv.2309.11966,
title = {NeuralLabeling: A versatile toolset for labeling vision datasets using Neural Radiance Fields},
author = {Floris Erich and Naoya Chiba and Yusuke Yoshiyasu and Noriaki Ando and Ryo Hanai and Yukiyasu Domae},
journal= {arXiv preprint arXiv:2309.11966},
year = {2024}
}
备注
IROS 2024. 8 pages, project website: https://florise.github.io/neural_labeling_web/