PRM：基于光度立体视觉的大重建模型
计算机视觉与模式识别
2024-12-11 v1 图形学
摘要
我们提出PRM，一种新型基于光度立体视觉的大重建模型，用于重建具有细粒度局部细节的高质量网格。与先前的大重建模型在固定且简单的光照条件下准备图像作为输入和监督不同，PRM通过变化材质和光照来渲染光度立体图像，这不仅通过提供丰富的光度线索来提升精确的局部细节，还增强了模型对输入图像外观变化的鲁棒性。为提供增强的图像渲染灵活性，我们引入实时的基于物理的渲染（PBR）方法和网格光栅化以进行在线图像渲染。此外，在采用显式网格作为三维表示时，PRM确保了可微分PBR的应用，这支持多种光度监督的利用，并更好地建模镜面反射颜色以实现高质量几何优化。我们的PRM利用光度立体图像在复杂的图像外观下实现具有细粒度局部细节的高质量重建。大量实验表明PRM显著优于其他模型。
引用
@article{arxiv.2412.07371,
title = {PRM: Photometric Stereo based Large Reconstruction Model},
author = {Wenhang Ge and Jiantao Lin and Guibao Shen and Jiawei Feng and Tao Hu and Xinli Xu and Ying-Cong Chen},
journal= {arXiv preprint arXiv:2412.07371},
year = {2024}
}
备注
https://wenhangge.github.io/PRM/