修复神经隐式建模以实现野外三维车辆重建
计算机视觉与模式识别
2021-11-29 v2
摘要
从单视图的稀疏、部分观测中重建高质量三维物体,对于计算机视觉、机器人和图形学中的各种应用至关重要。尽管最近的神经隐式建模方法在合成或稠密数据上显示出有前景的结果,但他们在稀疏且含噪的真实世界数据上表现不佳。我们发现,一种流行的神经隐式模型的局限性源于缺乏鲁棒的形状先验和缺乏适当的正则化。在这项工作中,我们展示了使用以下方法的高质量野外形状重建:(i) 深度编码器作为形状潜码(latent-code)的鲁棒初始化器;(ii) 潜码的正则化测试时优化;(iii) 深度判别器作为学习到的高维形状先验;(iv) 一种新颖的课程学习策略,使模型能在合成数据上学习形状先验并平滑迁移至稀疏真实世界数据。我们的方法更好地捕捉全局结构,在遮挡和稀疏观测上表现良好,并与真实形状良好配准。我们在两个真实世界数据集上展示了优于最先进(state-of-the-art)三维物体重建方法的性能。
引用
@article{arxiv.2101.06860,
title = {Mending Neural Implicit Modeling for 3D Vehicle Reconstruction in the Wild},
author = {Shivam Duggal and Zihao Wang and Wei-Chiu Ma and Sivabalan Manivasagam and Justin Liang and Shenlong Wang and Raquel Urtasun},
journal= {arXiv preprint arXiv:2101.06860},
year = {2021}
}