利用场景先验的可泛化神经场三维重建
计算机视觉与模式识别
2023-10-02 v2 人工智能
摘要
近期神经场的进展大幅推动了高保真三维场景重建。然而，多数现有方法为每个单独场景从头训练一个独立网络。这不可扩展、效率低，且在视图有限时无法得到良好结果。尽管基于学习的多视图立体方法在一定程度上缓解了此问题，但其多视图设定使其扩展性和广泛适用性较差。相反，我们引入融合场景先验（NFPs）的可泛化神经场。NFP 网络将任意单视图 RGB-D 图像映射为有符号距离和辐射值。无需融合模块即可在体素空间中合并各帧来重建完整场景，从而提供更好的灵活性。场景先验可在大规模数据集上训练，允许以更少视图快速适配新场景的重建。NFP 不仅展现出 SOTA 的场景重建性能与效率，还支持单图像新视图合成，而这在神经场中尚少有探索。更多定性结果见：https://oasisyang.github.io/neural-prior
引用
@article{arxiv.2309.15164,
title = {3D Reconstruction with Generalizable Neural Fields using Scene Priors},
author = {Yang Fu and Shalini De Mello and Xueting Li and Amey Kulkarni and Jan Kautz and Xiaolong Wang and Sifei Liu},
journal= {arXiv preprint arXiv:2309.15164},
year = {2023}
}
备注
Project Page: https://oasisyang.github.io/neural-prior