SAID-NeRF：用于透明物体深度补全的分割辅助 NeRF
机器人学
2024-03-29 v1 计算机视觉与模式识别
摘要
使用现成的 RGB-D 相机获取透明物体的准确深度信息是计算机视觉和机器人领域众所周知的挑战。深度估计/补全方法通常在具有质量深度标签的数据集上进行训练和评估，这些标签来自模拟、额外传感器或专门的数据收集设置以及已知的 3D 模型。然而，大规模地获取数据集的可靠深度信息并非易事，这限制了训练的可扩展性和泛化能力。神经辐射场是免学习方法，在新视图合成和形状恢复方面取得了广泛成功。然而，为了准确捕获镜面反射表面，通常需要启发式方法和受控环境（灯光、背景等）。在本文中，我们提出以零样本、无标签的方式使用视觉基础模型进行分割，通过同时重建语义场和扩展以提高鲁棒性，来指导这些物体的 NeRF 重建过程。我们提出的分割辅助 NeRF（SAID-NeRF）方法在透明物体深度补全数据集和机器人抓取中表现出显著的性能。
引用
@article{arxiv.2403.19607,
title = {SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects},
author = {Avinash Ummadisingu and Jongkeum Choi and Koki Yamane and Shimpei Masuda and Naoki Fukaya and Kuniyuki Takahashi},
journal= {arXiv preprint arXiv:2403.19607},
year = {2024}
}
备注
8 pages. An accompanying video is available at https://www.youtube.com/watch?v=S4NCoUq4bmE