PhotoScene：面向室内场景的真实感材质与光照迁移
计算机视觉与模式识别
2022-07-05 v1
摘要
大多数室内 3D 场景重建方法聚焦于恢复 3D 几何与场景布局。在本文中，我们超越此范畴，提出 PhotoScene，一种以场景输入图像及近似对齐的 CAD 几何（自动重建或手动指定）为输入，并构建具有高质量材质与相似光照的真实感数字孪生的框架。我们使用程序化材质图对场景材质建模；此类图表示真实感且分辨率无关的材质。我们优化这些图的参数及其纹理缩放与旋转，以及场景光照，以通过可微渲染层最佳匹配输入图像。我们在来自 ScanNet、SUN RGB-D 与素材照片的物体与布局重建上评估了我们的技术，并证明我们的方法重建出高质量的、可完全重光照的 3D 场景，可在任意视角、缩放与光照下重新渲染。
引用
@article{arxiv.2207.00757,
title = {PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes},
author = {Yu-Ying Yeh and Zhengqin Li and Yannick Hold-Geoffroy and Rui Zhu and Zexiang Xu and Miloš Hašan and Kalyan Sunkavalli and Manmohan Chandraker},
journal= {arXiv preprint arXiv:2207.00757},
year = {2022}
}
备注
Accepted to CVPR 2022; Code is available at https://github.com/ViLab-UCSD/photoscene