基于神经辐射场的深度多视角光度立体方法
计算机视觉与模式识别
2021-10-13 v1
摘要
我们提出了多视角光度立体问题（MVPS）的现代解法。我们的工作恰当地利用了 MVPS 实验设置中的图像形成模型，从图像中恢复物体的稠密三维重建。我们利用光度立体（PS）图像形成模型获取表面朝向，并将其与多视角神经辐射场表示相融合以恢复物体表面几何。与先前将位置、等深轮廓或朝向测量独立估计而后融合的多阶段 MVPS 框架不同，我们的方法简便易实现。我们的方法在执行多视角图像神经渲染的同时，利用深度光度立体网络估计的表面法线。我们通过考虑沿视向每个三维采样点的物体表面法线来渲染 MVPS 图像，而非通过三维占据信息显式使用体空间中的密度梯度。我们使用全连接深度网络高效优化所提出的 MVPS 设置神经辐射场表示以恢复物体三维几何。在 DiLiGenT-MV 基准数据集上的广泛评估表明，我们的方法优于仅做 PS 或仅做多视角立体（MVS）的方法，并与最先进的多阶段融合方法结果相当。
引用
@article{arxiv.2110.05594,
title = {Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo},
author = {Berk Kaya and Suryansh Kumar and Francesco Sarno and Vittorio Ferrari and Luc Van Gool},
journal= {arXiv preprint arXiv:2110.05594},
year = {2021}
}
备注
Accepted for publication at IEEE/CVF WACV 2022. 18 pages