基于神经-PBIR的形状、材质与光照重建
计算机视觉与模式识别
2024-02-02 v5
摘要
基于物体的2D图像（如照片）重建物理世界物体的形状、空间变化表面外观及其周围光照，一直是计算机视觉与图形学中的长期问题。本文提出一种准确且高效的物体重建流程，结合基于神经的物体重建与基于物理的逆渲染（PBIR）。我们的流程首先利用基于神经SDF的形状重建生成高质量但可能不完美的物体形状；随后引入神经材质与光照蒸馏阶段，实现材质与光照的高质量预测；最后阶段以神经预测初始化，执行PBIR以细化初始结果，获得物体形状、材质与光照的最终高质量重建。实验结果表明，我们的流程在质量与性能上均显著优于现有方法。
引用
@article{arxiv.2304.13445,
title = {Neural-PBIR Reconstruction of Shape, Material, and Illumination},
author = {Cheng Sun and Guangyan Cai and Zhengqin Li and Kai Yan and Cheng Zhang and Carl Marshall and Jia-Bin Huang and Shuang Zhao and Zhao Dong},
journal= {arXiv preprint arXiv:2304.13445},
year = {2024}
}
备注
ICCV 2023. Project page at https://neural-pbir.github.io/ Update Stanford-ORB results