BundleSDF：未知物体的神经 6-DoF 跟踪与三维重建
计算机视觉与模式识别
2023-03-27 v1 人工智能
图形学
机器人学
摘要
我们提出一种近实时方法，用于从单目 RGBD 视频序列中对未知物体进行 6-DoF 跟踪，同时对该物体进行神经三维重建。我们的方法适用于任意刚体物体，即便在视觉纹理大量缺失时也能工作。物体仅在第一帧中被假设为已分割。无需额外信息，也不对交互主体作任何假设。我们方法的关键在于一个神经物体场，它与位姿图优化过程并发学习，以将信息稳健地累积为捕捉几何与外观的一致三维表示。一个动态的有位姿记忆帧池被自动维护，以促进这些线程间的通信。我们的方法处理具有大幅位姿变化、部分与完全遮挡、无纹理表面和镜面高光的挑战性序列。我们在 HO3D、YCBInEOAT 和 BEHAVE 数据集上展示了结果，表明我们的方法显著优于现有方法。项目主页：https://bundlesdf.github.io
引用
@article{arxiv.2303.14158,
title = {BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects},
author = {Bowen Wen and Jonathan Tremblay and Valts Blukis and Stephen Tyree and Thomas Muller and Alex Evans and Dieter Fox and Jan Kautz and Stan Birchfield},
journal= {arXiv preprint arXiv:2303.14158},
year = {2023}
}
备注
CVPR 2023