SUP-NeRF：面向单目三维物体重建的姿态估计与NeRF的流式统一
计算机视觉与模式识别
2024-07-16 v2
摘要
类别级物体的单目三维重建严重依赖于准确感知每个物体的姿态。虽然NeRF框架中基于梯度的优化可以更新初始姿态，但本文指出单目物体重建中的尺度-深度模糊性会导致当初始姿态与真实姿态存在中等偏差时重建失败。因此，现有方法通常依赖第三方三维物体检测器提供初始物体姿态，导致复杂度增加和泛化问题。为应对这些挑战，我们提出了SUP-NeRF，一种物体姿态估计与基于NeRF的物体重建的流式统一。SUP-NeRF将物体的尺寸估计和姿态精化解耦以解决尺度-深度模糊性，并引入了一种跨不同领域泛化的相机不变投影框表示。通过使用一个专门设计的姿态估计器，该估计器平滑地集成到以物体为中心的NeRF中，SUP-NeRF无需外部三维检测器。在nuScenes数据集上，SUP-NeRF在重建和姿态估计任务中均达到了最先进的结果。此外，SUP-NeRF在KITTI和Waymo数据集上展现出卓越的跨数据集泛化能力，在旋转和平移误差上相比先前方法最多降低了50%。
引用
@article{arxiv.2403.15705,
title = {SUP-NeRF: A Streamlined Unification of Pose Estimation and NeRF for Monocular 3D Object Reconstruction},
author = {Yuliang Guo and Abhinav Kumar and Cheng Zhao and Ruoyu Wang and Xinyu Huang and Liu Ren},
journal= {arXiv preprint arXiv:2403.15705},
year = {2024}
}