PSDR-Room：利用可微渲染从单张照片生成场景
计算机视觉与模式识别
2023-07-10 v1 图形学
摘要
一个3D数字场景包含许多组件：灯光、材质与几何，它们相互作用以达到期望的外观。布置这样一个场景耗时且需要艺术与技术技能。在本工作中，我们提出PSDR-Room，一个仅需极少用户输入即可优化灯光以及单个物体的位姿与材质以匹配房间场景目标图像的系统。为此，我们利用一种近期的路径空间可微渲染方法，其提供关于几何、灯光与程序化材质的无偏渲染梯度，使我们能够使用梯度下降优化所有这些组件以在视觉上匹配输入照片的外观。我们使用近期的单图像场景理解方法来初始化优化并搜索合适的3D模型与材质。我们在室内场景的真实照片上评估了我们的方法，并展示了所得场景组件的可编辑性。
引用
@article{arxiv.2307.03244,
title = {PSDR-Room: Single Photo to Scene using Differentiable Rendering},
author = {Kai Yan and Fujun Luan and MiloŠ HaŠAn and Thibault Groueix and Valentin Deschaintre and Shuang Zhao},
journal= {arXiv preprint arXiv:2307.03244},
year = {2023}
}