基于自举辐射场反演从单幅图像恢复形状、姿态与外观
计算机视觉与模式识别
2023-03-21 v2 人工智能
图形学
机器学习
摘要
神经辐射场(NeRF)与GAN结合因能高效建模任意拓扑，成为单视图三维重建的有前景方向。然而该领域近期工作多聚焦于已知精确真实姿态的合成数据集，忽视了姿态估计，而姿态估计对增强现实(AR)与机器人等下游应用十分重要。我们提出了一种针对自然图像、无精确真实姿态可用的原则性端到端重建框架。我们的方法从物体的单幅图像中恢复由SDF参数化的三维形状、姿态与外观，训练时无需利用多视图。具体而言，我们利用一个无条件三维感知生成器，对其采用混合反演方案：先由模型给出解的初猜，再通过优化精炼。我们的框架仅需10步即可对图像进行反渲染，使其可用于实际场景。我们在多个真实与合成基准上展示了最先进的结果。
引用
@article{arxiv.2211.11674,
title = {Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion},
author = {Dario Pavllo and David Joseph Tan and Marie-Julie Rakotosaona and Federico Tombari},
journal= {arXiv preprint arXiv:2211.11674},
year = {2023}
}
备注
CVPR 2023. Code and models are available at https://github.com/google-research/nerf-from-image